The Gentle Singularity, Sam Altman

---

---

---

---

---

---

---

---

---

---

---

 

The Gentle Singularity

We are past the event horizon; the takeoff has started. Humanity is close to building digital superintelligence, and at least so far it’s much less weird than it seems like it should be.

Robots are not yet walking the streets, nor are most of us talking to AI all day. People still die of disease, we still can’t easily go to space, and there is a lot about the universe we don’t understand.

And yet, we have recently built systems that are smarter than people in many ways, and are able to significantly amplify the output of people using them. The least-likely part of the work is behind us; the scientific insights that got us to systems like GPT-4 and o3 were hard-won, but will take us very far.

AI will contribute to the world in many ways, but the gains to quality of life from AI driving faster scientific progress and increased productivity will be enormous; the future can be vastly better than the present. Scientific progress is the biggest driver of overall progress; it’s hugely exciting to think about how much more we could have.

In some big sense, ChatGPT is already more powerful than any human who has ever lived. Hundreds of millions of people rely on it every day and for increasingly important tasks; a small new capability can create a hugely positive impact; a small misalignment multiplied by hundreds of millions of people can cause a great deal of negative impact.

2025 has seen the arrival of agents that can do real cognitive work; writing computer code will never be the same. 2026 will likely see the arrival of systems that can figure out novel insights. 2027 may see the arrival of robots that can do tasks in the real world.

A lot more people will be able to create software, and art. But the world wants a lot more of both, and experts will probably still be much better than novices, as long as they embrace the new tools. Generally speaking, the ability for one person to get much more done in 2030 than they could in 2020 will be a striking change, and one many people will figure out how to benefit from.

In the most important ways, the 2030s may not be wildly different. People will still love their families, express their creativity, play games, and swim in lakes.

But in still-very-important-ways, the 2030s are likely going to be wildly different from any time that has come before. We do not know how far beyond human-level intelligence we can go, but we are about to find out.

In the 2030s, intelligence and energy—ideas, and the ability to make ideas happen—are going to become wildly abundant. These two have been the fundamental limiters on human progress for a long time; with abundant intelligence and energy (and good governance), we can theoretically have anything else.

Already we live with incredible digital intelligence, and after some initial shock, most of us are pretty used to it. Very quickly we go from being amazed that AI can generate a beautifully-written paragraph to wondering when it can generate a beautifully-written novel; or from being amazed that it can make live-saving medical diagnoses to wondering when it can develop the cures; or from being amazed it can create a small computer program to wondering when it can create an entire new company. This is how the singularity goes: wonders become routine, and then table stakes.

We already hear from scientists that they are two or three times more productive than they were before AI. Advanced AI is interesting for many reasons, but perhaps nothing is quite as significant as the fact that we can use it to do faster AI research. We may be able to discover new computing substrates, better algorithms, and who knows what else. If we can do a decade’s worth of research in a year, or a month, then the rate of progress will obviously be quite different.

From here on, the tools we have already built will help us find further scientific insights and aid us in creating better AI systems. Of course this isn’t the same thing as an AI system completely autonomously updating its own code, but nevertheless this is a larval version of recursive self-improvement.

There are other self-reinforcing loops at play. The economic value creation has started a flywheel of compounding infrastructure buildout to run these increasingly-powerful AI systems. And robots that can build other robots (and in some sense, datacenters that can build other datacenters) aren’t that far off.

If we have to make the first million humanoid robots the old-fashioned way, but then they can operate the entire supply chain—digging and refining minerals, driving trucks, running factories, etc.—to build more robots, which can build more chip fabrication facilities, data centers, etc, then the rate of progress will obviously be quite different.

As datacenter production gets automated, the cost of intelligence should eventually converge to near the cost of electricity. (People are often curious about how much energy a ChatGPT query uses; the average query uses about 0.34 watt-hours, about what an oven would use in a little over one second, or a high-efficiency lightbulb would use in a couple of minutes. It also uses about 0.000085 gallons of water; roughly one fifteenth of a teaspoon.)

The rate of technological progress will keep accelerating, and it will continue to be the case that people are capable of adapting to almost anything. There will be very hard parts like whole classes of jobs going away, but on the other hand the world will be getting so much richer so quickly that we’ll be able to seriously entertain new policy ideas we never could before. We probably won’t adopt a new social contract all at once, but when we look back in a few decades, the gradual changes will have amounted to something big.

If history is any guide, we will figure out new things to do and new things to want, and assimilate new tools quickly (job change after the industrial revolution is a good recent example). Expectations will go up, but capabilities will go up equally quickly, and we’ll all get better stuff. We will build ever-more-wonderful things for each other. People have a long-term important and curious advantage over AI: we are hard-wired to care about other people and what they think and do, and we don’t care very much about machines.

A subsistence farmer from a thousand years ago would look at what many of us do and say we have fake jobs, and think that we are just playing games to entertain ourselves since we have plenty of food and unimaginable luxuries. I hope we will look at the jobs a thousand years in the future and think they are very fake jobs, and I have no doubt they will feel incredibly important and satisfying to the people doing them.

The rate of new wonders being achieved will be immense. It’s hard to even imagine today what we will have discovered by 2035; maybe we will go from solving high-energy physics one year to beginning space colonization the next year; or from a major materials science breakthrough one year to true high-bandwidth brain-computer interfaces the next year. Many people will choose to live their lives in much the same way, but at least some people will probably decide to “plug in”.

Looking forward, this sounds hard to wrap our heads around. But probably living through it will feel impressive but manageable. From a relativistic perspective, the singularity happens bit by bit, and the merge happens slowly. We are climbing the long arc of exponential technological progress; it always looks vertical looking forward and flat going backwards, but it’s one smooth curve. (Think back to 2020, and what it would have sounded like to have something close to AGI by 2025, versus what the last 5 years have actually been like.)

There are serious challenges to confront along with the huge upsides. We do need to solve the safety issues, technically and societally, but then it’s critically important to widely distribute access to superintelligence given the economic implications. The best path forward might be something like:

1. Solve the alignment problem, meaning that we can robustly guarantee that we get AI systems to learn and act towards what we collectively really want over the long-term (social media feeds are an example of misaligned AI; the algorithms that power those are incredible at getting you to keep scrolling and clearly understand your short-term preferences, but they do so by exploiting something in your brain that overrides your long-term preference).
2. Then focus on making superintelligence cheap, widely available, and not too concentrated with any person, company, or country. Society is resilient, creative, and adapts quickly. If we can harness the collective will and wisdom of people, then although we’ll make plenty of mistakes and some things will go really wrong, we will learn and adapt quickly and be able to use this technology to get maximum upside and minimal downside. Giving users a lot of freedom, within broad bounds society has to decide on, seems very important. The sooner the world can start a conversation about what these broad bounds are and how we define collective alignment, the better.

We (the whole industry, not just OpenAI) are building a brain for the world. It will be extremely personalized and easy for everyone to use; we will be limited by good ideas. For a long time, technical people in the startup industry have made fun of “the idea guys”; people who had an idea and were looking for a team to build it. It now looks to me like they are about to have their day in the sun.

OpenAI is a lot of things now, but before anything else, we are a superintelligence research company. We have a lot of work in front of us, but most of the path in front of us is now lit, and the dark areas are receding fast. We feel extraordinarily grateful to get to do what we do.

Intelligence too cheap to meter is well within grasp. This may sound crazy to say, but if we told you back in 2020 we were going to be where we are today, it probably sounded more crazy than our current predictions about 2030.

May we scale smoothly, exponentially and uneventfully through superintelligence.

온화한 특이점(The Gentle Singularity) – 샘 알트먼

우리는 이미 사건의 지평선을 넘었고, 비약이 시작되었습니다. 인류는 디지털 초지능 구축에 가까워졌으며, 지금까지의 과정을 보면 예상했던 만큼 이상하지는 않습니다.

아직 거리에서 로봇들이 활보하지도 않고, 대부분의 사람들이 하루 종일 인공지능과 대화하지도 않습니다. 여전히 질병으로 사망하는 사람이 존재하며, 우리는 여전히 쉽게 우주에 가지 못하고, 우주에 대해 이해하지 못하는 부분이 많이 남아 있습니다.

그럼에도 불구하고, 최근 우리는 여러 면에서 인간보다 뛰어난 시스템을 개발하였고, 이러한 시스템을 활용하는 사람들의 성과 역시 크게 증폭되고 있습니다. 가장 실현 불가능해 보였던 부분은 이미 지나왔습니다. GPT-4와 o3 같은 시스템에 도달하게 한 과학적 통찰은 어렵게 얻어진 것이지만, 앞으로 더 멀리 우리를 이끌 것입니다.

인공지능은 여러 방면에서 인류에 기여할 것이며, AI가 이끄는 과학 발전과 생산성 향상은 삶의 질 개선에 엄청난 영향을 줄 것입니다. 미래는 현재보다 훨씬 더 나아질 가능성이 큽니다. 과학 발전이야말로 전반적 진보의 가장 큰 동력이므로, 앞으로 얼마나 더 많은 성취를 이뤄낼지 생각하면 매우 기대됩니다.

크게 보아, ChatGPT는 이미 역사상 그 어떤 인간보다 강력하다고 할 수 있습니다. 수억 명의 사람들이 매일 점점 더 중요한 과업에 이를 의존하고 있습니다. 아주 작은 새로운 기능이 엄청난 긍정적 영향을 가져오기도 하며, 작은 불일치도 수억 명에게 확산될 경우 상당한 부정적 영향을 초래할 수 있습니다.

2025년에는 실질적인 인지 작업을 수행할 수 있는 에이전트가 등장하였으며, 컴퓨터 코드 작성은 이전과는 완전히 달라졌습니다. 2026년에는 새로운 통찰을 스스로 발견해내는 시스템이 등장할 전망이며, 2027년에는 현실 세계의 작업을 수행할 수 있는 로봇이 등장할 가능성도 있습니다.

더 많은 사람들이 소프트웨어와 예술을 창작할 수 있게 될 것입니다. 그러나 세상은 여전히 더 많은 소프트웨어와 예술을 원하며, 전문가들은 새로운 도구를 잘 받아들이는 한 여전히 초보자보다 우월할 것입니다. 전반적으로, 2030년 한 사람이 해낼 수 있는 일의 크기가 2020년과 비교해 현저히 증가할 것이고, 많은 이들이 이 변화를 통해 혜택을 누리게 될 것입니다.

가장 중요한 측면에서 2030년대는 그리 다르지 않을 수도 있습니다. 사람들은 여전히 가족을 사랑하고, 창의성을 발휘하며, 게임을 하고, 호수에서 수영할 것입니다.

그러나 여전히 중요한 측면에서는 2030년대가 그 어떤 과거와도 근본적으로 달라질 가능성이 높습니다. 인간 수준의 지능을 얼마나 넘어설 수 있을지 정확히 알 수 없으나, 우리는 곧 그 한계를 확인하게 될 것입니다.

2030년대에는 지능과 에너지, 즉 아이디어와 그것을 실현하는 역량이 극도로 풍부해질 것입니다. 이 두 가지는 오랜 시간 동안 인류 진보의 근본적인 제한 요인이었습니다. 만약 풍부한 지능과 에너지(그리고 건전한 거버넌스)가 갖추어진다면, 이론상 다른 모든 것을 가질 수 있을 것입니다.

우리는 이미 놀라운 디지털 지능과 함께 살아가고 있으며, 초기 충격을 지난 후 대부분은 그에 익숙해졌습니다. AI가 아름답게 문단을 쓴다는 데 놀랐다가, 곧 소설 전체를 쓸 수 있는 시점을 궁금해합니다. 생명을 구하는 의료 진단이 가능한 데 놀라웠다가, 치료법을 개발하는 시점은 언제인지 묻게 됩니다. 작은 컴퓨터 프로그램을 만들던 것이 언제 새로운 기업 전체를 만들지에 대해서도 역시 마찬가지입니다. 이것이 특이점의 전개입니다. 놀라운 성취가 일상이 되고, 곧 당연시됩니다.

이미 많은 과학자들이 AI 도입 이후 생산성이 2~3배 높아졌다고 말하고 있습니다. 첨단 AI가 흥미로운 이유는 많지만, 그중에서도 우리가 AI를 활용해 더 빠른 AI 연구를 진행할 수 있다는 점이 가장 의미 있습니다. 우리는 새로운 연산 재료, 더 나은 알고리즘, 그 외 무엇이든 발견할 수 있을 것입니다. 10년치 연구를 1년 혹은 한 달 만에 수행할 수 있다면, 진보의 속도는 분명 크게 달라질 것입니다.

이 시점부터 기존에 구축된 도구들이 추가적인 과학적 통찰을 찾아내는 데 도움이 되고, 더 나은 AI 시스템 개발에도 기여하게 될 것입니다. 물론 이것이 AI가 완전히 자율적으로 코드를 업데이트하는 것과 같지는 않으나, 결국은 자기 개선(recursive self-improvement)의 초기 단계라고 볼 수 있습니다.

여타 자기 강화적 순환 고리가 작동하고 있습니다. 경제적 가치 창출이 인프라 구축의 선순환을 촉진하였고, 서로를 제조할 수 있는 로봇(일정 부분에서는 서로를 건설할 수 있는 데이터센터)의 등장이 머지않았습니다.

최초의 백만 개 인형형 로봇을 전통적인 방식으로 생산해야 한다 해도, 이들이 전체 공급망(광물 채굴·정제, 트럭 운전, 공장 운영 등)을 운영하여 더 많은 로봇과 반도체 패브리케이션, 데이터센터 등을 만드는 것이 가능해진다면 진보의 속도는 자명하게 달라질 것입니다.

데이터센터 생산이 자동화되면, 궁극적으로 지능의 단가는 전기 요금 수준까지 수렴할 것입니다. (많은 사람들이 ChatGPT 쿼리 한 번에 드는 에너지량을 궁금해하는데, 평균적으로 약 0.34 와트시로, 오븐이 1초가량 사용하는 전력이나 고효율 전구가 몇 분 쓰는 정도입니다. 또한 약 0.000085갤런의 물을 소비하는데, 대략 찻숟가락의 15분의 1 정도입니다.)

기술적 진보의 속도는 계속 가속화할 것이며, 인간이 거의 모든 것에 적응할 수 있다는 점도 변하지 않을 것입니다. 일자리 계층 전체가 사라지는 등 어려움도 있겠지만, 반면 세계가 워낙 빠르게 부유해지기 때문에, 이전에는 상상할 수 없던 새로운 정책적 접근도 실제로 고려하게 될 전망입니다. 사회계약을 단번에 변경하지는 않더라도, 수십 년 후 지나온 길을 되돌아보면 점진적 변화들이 거대한 변혁으로 이어졌음을 알게 될 것입니다.

역사가 증명하듯, 우리는 새로운 일과 새로운 욕구를 찾아낼 것이고, 새로운 도구 역시 빠르게 흡수할 것입니다(산업혁명 이후 직업 변화가 좋은 예입니다). 기대치는 높아지겠지만 역량 역시 빠르게 성장할 것이고, 결국 모두가 더 뛰어난 것들을 갖게 될 것입니다. 우리는 서로를 위해 더욱 놀라운 것들을 만들어갈 것입니다. 인간이 AI에 대해 가지는 장기적이고 중요한 강점은, 다른 사람과 그들의 생각·행동에 관심을 갖고 신경 쓴다는 점이며, 기계에는 거의 신경 쓰지 않는다는 것입니다.

천 년 전 생계 농부가 오늘날 우리의 직업을 본다면, 모두 가짜 일자리라 여기며 충분한 식량과 상상 이상의 사치를 누리기에 우리 모두가 다만 스스로를 즐겁게 하기 위한 놀이만 하고 있다고 생각할지도 모릅니다. 나는 우리가 천 년 후 미래의 직업을 보며 ‘정말 가짜 같네!’라고 생각하였으면 하며, 그 일을 직접 하는 사람들에게는 그 일이 믿을 수 없을 만큼 중요하고 만족스러울 것이라는 점도 의심치 않습니다.

새로운 경이로움이 이루어지는 속도는 거대해질 것입니다. 2035년까지 우리가 무엇을 발견해낼지 상상하기도 어렵습니다. 어느 해에는 고에너지 물리학 문제를 해결하고, 바로 그 다음 해에는 우주 식민지 개척을 시도하게 될지도 모릅니다. 혹은 한 해에는 재료과학에서 대도약이 이뤄지고, 다음 해에는 진정한 고대역폭 뇌-컴퓨터 인터페이스가 등장할 수도 있습니다. 많은 이들이 비슷한 방식으로 삶을 살아가겠지만, 일부는 ‘접속’을 선택할 가능성도 있습니다.

앞을 내다보면 이해하기 어렵게 느껴질 수 있습니다. 그렇지만 실제로 이 과정을 겪는다면 충분히 인상적이면서도 감당 가능한 수준일 것입니다. 상대론적으로 특이점은 점차적으로 발생하며, 통합도 서서히 이루어집니다. 우리는 지수적인 기술 진보의 긴 곡선을 오르고 있습니다. 앞으로 볼 때는 항상 수직으로 보이고, 뒤돌아보면 납작해 보이나, 실상은 매끄러운 곡선입니다. (2020년으로 돌아가서, 2025년쯤 AGI 수준의 AI가 등장한다고 말했다면 어떨지, 지나간 5년의 현실과 비교해 보십시오.)

엄청난 긍정적 가능성과 함께 극복해야 할 심각한 도전들도 분명 존재합니다. 기술적·사회적으로 안전 문제를 반드시 해결해야 하며, 그 다음에는 초지능 접근권을 경제적 의미를 감안해 널리 분배하는 것이 매우 중요합니다. 앞으로의 최적의 방향은 다음과 같을 수 있습니다.

1. 정렬 문제(alignment problem)를 해결해야 합니다. 즉, AI 시스템이 장기적 관점에서 우리가 집단적으로 진정으로 원하는 바를 학습하고 행동하도록 확실하게 보장해야 합니다(예를 들어, 소셜미디어 알고리즘은 우리 단기적 선호는 놀랍도록 잘 파악하나, 뇌의 일부를 자극해 장기적 선호를 희생시키는 ‘비정렬 AI’의 예라 할 수 있습니다).
2. 그 이후에는 초지능을 저렴하게, 광범위하게, 그리고 특정 개인·기업·국가에 과도하게 집중되지 않도록 해야 합니다. 사회는 회복력 좋고, 창의적이며, 빠르게 적응합니다. 만약 사람들이 의지와 지혜를 모은다면, 많은 실수를 하고, 무엇인가 잘못되더라도, 우리는 빠르게 학습하고 적응하여 이 기술을 통해 최대 이익과 최소 손실을 달성할 수 있을 것입니다. 사회가 결정한 넓은 범위 안에서 사용자가 많은 자유를 누리는 것이 매우 중요해 보입니다. 전 세계가 이러한 범위와 집단적 정렬을 어떻게 정의할지 논의를 시작할수록 좋습니다.

우리는(오픈AI만이 아니라 전체 산업이) 세계를 위한 두뇌를 만들고 있습니다. 이는 극도로 개인화되고 누구나 쉽게 사용할 수 있을 것이며, 우리의 한계는 좋은 아이디어뿐입니다. 스타트업 업계에서는 오랫동안 ‘아이디어맨’을 조롱해왔지만, 이제 그들의 시대가 올 것이라고 생각합니다.

오픈AI는 현재 많은 역할을 하고 있지만, 그 무엇보다도 우선적으로 초지능 연구 기업입니다. 우리 앞에는 할 일이 많이 남아 있지만, 이제는 대부분의 길이 밝히어졌고 어둠은 빠르게 걷히고 있습니다. 우리가 하는 일을 할 수 있어 대단히 감사하게 생각합니다.

측정이 필요 없을 정도로 저렴한 지능은 이제 실현 가능한 범위 내에 있습니다. 이 말이 지금은 이상하게 들릴 수 있지만, 2020년부터 우리가 오늘에 이를 것이라고 말했다면, 그땐 지금보다 더 터무니없게 들렸을 것입니다.

초지능으로 향하는 여정이 매끄럽고, 지수적으로, 그리고 별 탈 없이 진행되길 기원합니다.

穏やかなシンギュラリティ ― サム・アルトマン

私たちはすでに事象の地平線を越え、離陸が始まりました。人類はデジタル超知能の構築に近づいており、これまでのところ予想していたほど奇妙には感じられていません。

ロボットが街を歩いているわけでもなく、ほとんどの人が一日中AIと話しているわけでもありません。今なお病気で人が亡くなり、宇宙へ簡単に行くこともできず、宇宙について分かっていないことが山ほどあります。

それにもかかわらず、私たちは最近、様々な点で人間よりも賢いシステムを構築し、それらを活用することで人間の成果も大幅に増幅できるようになりました。最も実現が難しいと思われていた部分はすでに過ぎ去りました。GPT-4やo3に到達するための科学的洞察は苦労して得られたものですが、今後我々をより遠くまで導くでしょう。

AIは様々な形で世界に貢献するでしょうが、AIによる科学の加速的な進展と生産性向上がもたらす生活の質の向上は計り知れません。未来は現在よりもはるかに良くなる可能性があります。科学の進歩が社会全体の進歩の最大の原動力であり、これから私たちがどこまで到達できるかを考えると非常に刺激的です。

大きな意味で言えば、ChatGPTはすでに歴史上のどの人間よりも強力であるといえます。何億人もの人々が日々、しかもますます重要な作業でこれに依存しています。小さな新機能が莫大なプラスの影響をもたらすこともあれば、小さなミスアラインメントが何億人にも広がれば大きなマイナスの影響をもたらすこともあります。

2025年には、本格的な認知作業を行うエージェントが登場しました。プログラムのコーディングの在り方は大きく変わりました。2026年には新しい洞察を自ら考案できるシステムが現れるでしょう。2027年には、現実世界でタスクをこなすロボットが登場するかもしれません。

より多くの人がソフトウェアや芸術を創造できるようになるでしょう。しかし世界は依然としてそれらを一層求めており、専門家は新しいツールを受け入れる限り、初心者よりもはるかに優れた存在であり続けるでしょう。一般的に、2030年には一人の人間が2020年よりもはるかに多くのことを成し遂げられるようになるでしょう。その変化を活かし、多くの人が利益を得るはずです。

最も重要な点では、2030年代は極端に異なるものにはならないかもしれません。人々は家族を愛し、創造性を発揮し、ゲームをし、湖で泳ぐでしょう。

しかし依然として重要な側面で、2030年代はこれまでのどの時代とも大きく異なるものになる可能性が高いです。人間レベルの知能をどこまで超えられるかは分かりませんが、それをまもなく知ることになるでしょう。

2030年代には、知能とエネルギー――つまりアイデアとその実現力――が飛躍的に豊富になります。この二つは長らく人類の進歩を制限してきました。知能もエネルギーも潤沢（さらに良好なガバナンス）であれば、理論上、他の何でも手に入れることができます。

私たちはすでに驚くべきデジタル知能とともに生活しています。初めの衝撃を経て、大多数はそれを当然のものと感じています。AIが見事な文章を作れることに驚いてから、次にそれが小説全体を書けるのはいつかと考え、また医療診断で命を救えるAIに驚いてから、それがいつ治療法を開発できるかを知りたくなります。小さなプログラムを生成できるだけで驚いていたのが、いずれ新しい企業すら作れるようになる日を問うようになります。これがシンギュラリティの進行です。驚異は日常となり、次第に当たり前のものになります。

科学者からもすでに、AI導入後で生産性が2～3倍に向上したという声が聞かれます。高度なAIには多くの興味深い点がありますが、中でもAIによってAI研究自体を加速できる点は非常に重要です。新たな計算基盤やより優れたアルゴリズム、その他未知のものまで発見できるかもしれません。10年かかる研究を1年、あるいは1ヶ月で終えられるならば、進歩の速度は明らかに異なるでしょう。

今後は、すでに構築されたツールがさらなる科学的洞察の獲得と、より良いAIシステム開発の助けとなります。もちろん、これはAI自身が完全自律的にコードを書き換えるのとは違いますが、自己改良の幼虫段階と言えるでしょう。

他にも自己強化のフィードバックループが存在します。経済価値の創出が、これら強力なAIシステムを運用するためのインフラ構築という複利的なサイクルを起動させています。また、ロボットがロボットを造る（あるいはある意味で、データセンターが他のデータセンターを構築する）のも、それほど遠い話ではありません。

最初の100万体のヒューマノイドロボットは従来通りに作る必要があるかもしれませんが、その後は、彼らがサプライチェーン全体（鉱物の採掘・精製、トラック運転、工場運営など）を担い、さらにロボット、チップの製造施設、データセンターの建設すら行うことができれば、進歩の速度は明らかに変わるでしょう。

データセンターの生産が自動化されれば、知能のコストは最終的に電力コストに近づいていきます。（ChatGPTの1クエリでどれぐらいエネルギーを使うかよく聞かれますが、平均で約0.34ワット時、これはオーブンが1秒強動いた時や高効率電球が数分間点灯した時の消費量に近いです。また必要な水は約0.000085ガロン、ティースプーンの15分の1程度です。）

技術進歩の速度はさらに加速し続け、人間はほぼ何にでも適応できる力を持ち続けるでしょう。全く新しい職業階層が消滅するなど困難もあるでしょうが、世界は急速に豊かになるため、これまで考えられなかったような新しい政策の可能性も現実味を帯びてきます。一気に新たな社会契約を採用することはないとしても、数十年後に振り返れば、その漸進的変化は大きなものとなっているでしょう。

歴史が示すように、私たちは新たな仕事や欲求を見出し、新しいツールも迅速に取り入れるでしょう（産業革命後の職業変化がよい例です）。期待値は高まりますが、能力も同じ速さで向上し、皆がより良いものを享受することになるでしょう。私たちは互いのためにますます素晴らしいものを創り出すのです。AIに対し人間が持つ長期的で重要な強みは、私たちが他者やその思考・行動を本質的に気にかけ、機械のことはさほど気にしないという点です。

千年前の自給農民が現代人の働き方を見れば、「偽物の仕事」だと感じるでしょうし、食料や贅沢を十二分に享受しながら、ただ自分たちを楽しませるためのゲームをしているのだと思うでしょう。私たちも千年後の未来の仕事を見て、それが「実に偽物らしい」と感じるかもしれませんが、それを担う人にとってはきっと非常に重要で満足度の高いものになるはずです。

新たな驚異が生み出される速度は圧倒的になるでしょう。2035年までに私たちが何を発見しているか想像するのは困難です。たとえば、ある年に高エネルギー物理学の難題を解決したすぐ後には宇宙植民の始まりがあり、また材料科学の大きな進展があった翌年には真の高帯域脳―コンピュータ・インターフェイスが実現するかもしれません。同じ生き方を続ける人が多いでしょうが、少なくとも一部は“接続”を選ぶかもしれません。

この先を考えると受け入れ難く感じるかもしれませんが、実際に進む過程は見事であっても扱える範囲だと感じられるのでしょう。相対論的にいえば、シンギュラリティは少しずつ進行し、融合も徐々に起きます。私たちは指数関数的な技術進展の長い弧を登っています。前を見れば常に急勾配に見え、後ろを振り返れば平坦に見える――しかし実際は一つなぎの連続した曲線なのです。（2020年時点で2025年にはAGIに近いものができるといわれたらどう感じただろうか、またこの5年間が実際どうだったかを振り返ってみてください。）

莫大なメリットとともに、直面すべき重大な課題もあります。私たちは技術的、社会的両面から安全性の問題を解決する必要がありますが、その後は、経済的影響を考慮し超知能へのアクセスを広範に分配することが極めて重要です。今後の最適ルートの例としては以下のものが考えられます：

1. アラインメント問題（alignment problem）をまず解決しなければなりません。つまり、AIシステムに長期的に何が真に望ましいかをしっかり学習させ、その方向に行動するよう保証することです（例として、SNSフィードのアルゴリズムは短期的な嗜好を驚くほど正確に把握し、スクロールを促しますが、それが結果的に長期的な嗜好を損なう「ミスアラインAI」の一例です）。
2. その次に超知能が安価で広く利用可能となり、特定の個人・企業・国家に過度に集中しないようにします。社会はレジリエンスが高く、創造的で適応が早いです。人々の意思と知恵を結集できれば、多くの失敗や問題があったとしても、すぐに学び実践し、最大利益と最小リスクの両立が可能になるはずです。社会的な広い範囲の枠の中で、ユーザーに大きな自由を与えることも非常に重要でしょう。こうした枠組みの定義や集団的アラインメントについての議論を世界が早く始めるほどよいのです。

私たち（OpenAIだけでなく業界全体）は、世界のためのブレインを作っています。それは極めてパーソナライズされ、誰もが簡単に使えるものとなるでしょう。制約は優れたアイディアだけです。スタートアップ業界では「アイデアマン」を揶揄する声がよく聞かれますが、今や彼らの時代が到来しようとしていると感じます。

OpenAIは今や多様な役割を担っていますが、その中核は依然として超知能研究企業です。私たちの前には多くの仕事がありますが、大部分の進路にはすでに光が差しており、暗闇は急速に後退しています。こうした仕事をできることを大いに感謝しております。

「メーター不要なほど安い知能」は手が届くところまで来ています。今それを言うと奇妙に聞こえるかもしれませんが、もし2020年時点で現在の姿になると言っていたら、今の2030年についての予想よりもさらに「ありえない」と思われたことでしょう。

私たちが超知能に向けて、円滑かつ指数関数的に、波乱なく進化できますように。

---

다크서클이 제정신이 아니야..

제정신이 아니야…🥺

뭐야 너무 쪼꼬미시잖아

p.s. 다친 건 마음이지 네가 아냐