Koki Wataoka

Safety measures have become more complex

In the past, Safety Alignment relied heavily on SFT and RLHF using human-annotated data, much like general capability improvement. Today, however, this paradigm has completely shifted.

In particular, following the trend of RLVF (Reinforcement Learning from Verifiable Feedback) [Tulu 3, DeepSeek-R1], the use of synthetic data in post-training has become dominant, and the overall volume of data has exploded. For safety measures too, the era where simply preparing SFT data and preference data by hand was enough has come to an end.

However, safety issues are not a uniformly verifiable domain like math or puzzles. As a result, approaches like Collective Alignment, which verify how faithfully a model is aligned to systematically written natural-language safety rules such as the OpenAI Model Spec, have been accelerating.

Also, as LLMs' information processing capability and accuracy have improved, the risks of concern have qualitatively changed. Beyond simply preventing inappropriate remarks, the risk of misuse for serious criminal acts has become the biggest concern. According to the GPT-5 system card, more than 5,000 hours of red-teaming were conducted by over 400 experts, with enormous resources devoted to countering the misuse risks that come with advanced reasoning capability. At the same time, automated red-teaming methods such as AutoDAN-Turbo continue to develop.

2025 was also the year AI began to genuinely hold execution privileges to operate browsers and tools. Along with this, the first zero-click attack in which confidential information could be leaked without any user intervention, EchoLeak, was reported, and defenders have increasingly been required to adopt more practical security measures.

Under these circumstances, ensuring safety is no longer merely a technical machine learning challenge. As with Google DeepMind's Frontier Safety Framework, we have entered a phase where solving these problems requires an organization-wide effort, including incident response readiness and governance.

Guardrail models have made a dramatic leap forward

2025 was the year in which guardrail models protecting the main LLM evolved from simple auxiliary filters into advanced reasoning models in their own right, backed by massive compute and data investments.

Until now, the challenge for guardrail models was their inability to detect new attack methods not included in the training data, or harmfulness hidden in complex context (a lack of generalization). In 2025, however, this wall was broken through via the strategic use of synthetic data.

Beyond research-level progress, a series of powerful, commercially deployable models were released one after another, advancing the democratization of safety measures.

Research shedding light on LLM behavior

To improve safety, it's not enough to simply implement countermeasures — understanding the fundamental mechanisms of what happens inside the model is essential. In 2025, important insights were revealed about several such behaviors.

Conclusion

The field of AI Safety may be in a challenging era, one that demands rapid evolution as foundation models achieve dramatic capability gains and gain new privileges. At the same time, I feel that AI Safety has never been more needed by society than it is now. And I'm excited to think that in 2026, more challenges will be solved and new ones will emerge.

安全性対策が複雑化

かつてのSafety Alignmentは、モデルの全般的な能力向上と同様に、人間によるアノテーションデータを用いたSFTやRLHFが中心的でした。しかし、今日では、このパラダイムは完全に転換したと言えるでしょう。

特に RLVF (Reinforcement Learning from Verifiable Feedback) [Tulu 3, DeepSeek-R1] の潮流以降、事後学習における合成データの利用が支配的となり、全体のデータ量は爆発的に増加しました。安全性対策においても、単にSFTデータとPreferenceデータを人手で準備すれば終わりという時代は終焉を迎えました。

しかし、安全性の問題は数学やパズルのように、一律に検証可能な領域ではありません。そのため、体系的に自然言語で記述された安全性ルールである OpenAI Model Spec 等に対し、どれほど忠実にアラインメントできているかを検証する Collective Alignment のようなアプローチが加速しています。

また、LLMの情報処理能力と正確性が向上したことで、懸念されるリスクも質的に変化しています。単なる不適切な発言の防止を超え、深刻な犯罪行為への悪用リスクが最大の懸念事項となりました。GPT-5のシステムカード によれば、400人以上の専門家による5,000時間以上のレッドチーミングが実施され、高度な推論能力に伴う悪用リスクへの対策に莫大なリソースが投じられました。同時に、AutoDAN-Turbo のような自動レッドチーミング手法の発達を続けています。

2025年は、AIがブラウザやツールを操作する実行権限を本格的に持ち始めた年でもあります。これに伴い、ユーザーの介入なしに機密情報の漏洩などが成立する初のゼロクリック攻撃 EchoLeak が報告されるなど、防御側にはより実務的なセキュリティ対策が求められるようになりました。

こうした状況下で、安全性の確保はもはや単なる機械学習の技術的課題に留まりません。Google DeepMindが提唱する Frontier Safety Framework のように、インシデントへの即応体制やガバナンスを含めた、組織全体としての課題解決が不可欠なフェーズに突入しています。

ガードレールモデルが飛躍的発展

2025年は、メインのLLMを保護するガードレールモデルが、単なる補助的なフィルターから、それ自体が巨大な計算資源とデータを投じられた高度な推論モデルへと進化した年でした。

これまでガードレールモデルの課題は、学習データに含まれない新しい攻撃手法や、複雑な文脈に潜む有害性を検知できないこと（汎化性能の不足）にありました。しかし、2025年は合成データの戦略的活用により、この壁が突破されました。

研究レベルの進化に留まらず、商用レベルで即戦力となる強力なモデルが相次いで公開され、安全性対策の民主化が進みました。

LLMの挙動解明に繋がるいくつかの研究

安全性を高めるためには、単に対策を講じるだけでなく、モデルの内部で何が起きているのかという根本的なメカニズムの解明が不可欠です。2025年は、いくつかの挙動に対し、重要な知見が示されました。

まとめ

AI Safetyの分野は、基盤モデルの飛躍的な能力向上と権限の獲得により、急激な進化が要求されている苦境の時代と言えるかもしれません。 しかし、これほど社会に必要とされた時代もなかったかと感じています。 また、2026年はより多くの課題が解決され、新たな挑戦ができるかと思うとワクワクしますね。