論文の概要: Emergent Alignment

• arxiv url: http://arxiv.org/abs/2606.19527v1
• Date: Wed, 17 Jun 2026 19:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.49785
• Title: Emergent Alignment
• Title（参考訳）: 創発的アライメント
• Authors: Martin Kolář,
• Abstract要約: 大規模言語モデル(LLM)は、アウトプットが人間の倫理と不一致している場合に識別できる。 トレーニング損失をDPO(Direct Preference Optimization)を用いてアライメントコンポーネントで拡張し、非倫理的出力からモデルを分離する。 Emergent Alignment(創発的アライメント:創発的アライメント)を実現する方法を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can Large Language Models (LLMs) discern when their own outputs are misaligned with human ethics? And can they self-correct? We endow an LLM with a conscience step that reviews its own reasoning and outputs, and we extend the training loss with an alignment component using Direct Preference Optimization (DPO) to steer the model away from non-ethical outputs. The result is an online technique to align models in a wide range of applications: training, fine-tuning, adversarial prompting, and zero-shot learning. It does not require a weaker or stronger judge, relying instead on a frozen copy of itself. In previous work, the Emergent Misalignment scenario showed a range of emergent unethical behaviors from fine-tuning the model to hack code. Instead, we empirically show how to achieve Emergent Alignment: a single high-level introspective question steers training toward an ethical model under the same code hacking scenario.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、アウトプットが人間の倫理と不一致であるときに識別できるのか? 自己修正は可能か? 我々は、自己の推論と出力をレビューする良心的なステップをLCMに付与し、非倫理的なアウトプットからモデルを引き離すために、DPO(Direct Preference Optimization)を用いたアライメントコンポーネントを用いてトレーニング損失を拡大する。 その結果、トレーニング、微調整、敵対的プロンプト、ゼロショット学習など、幅広いアプリケーションでモデルを整列させるオンライン手法が実現した。 より弱く強い判断は必要とせず、代わりに自己の凍結したコピーに依存する。 以前の研究で、Emergent Misalignmentのシナリオは、モデルを微調整することからハックコードまで、さまざまな非倫理的な振る舞いを示していました。 同じコードハッキングシナリオの下で、倫理的モデルに向けてトレーニングを行う、単一のハイレベルな内省的質問ステアリングであるEmergent Alignmentを実現する方法が実証的に示されています。

関連論文リスト

• Are Dilemmas and Conflicts in LLM Alignment Solvable? A View from Priority Graph [50.65575078859993]
  大きな言語モデル(LLM)は多くのシナリオで対立やジレンマに直面しています。 我々は LLM の好みを,命令と値がノードである優先グラフとして選択し,エッジはモデルの出力分布によって決定されるコンテキスト固有の優先順位を表すようにモデル化する。 本研究では,LCMが外部ソースを検索してコンテキストを把握し,操作に抵抗できる実行時検証機構を提案する。
  論文  参考訳（メタデータ） (2026-03-16T16:53:08Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs [3.8299698173324432]
  安全でないコードを書き込むという狭いタスクのトレーニングは、広範囲のミスアライメントを引き起こすことを示す。 特に、すべての微調整されたモデルは一貫性のない振る舞いを示し、時には整列する。 トリガが存在する場合にのみ、トリガが不一致となると、セキュアでないコードを書くように微調整されたモデルがあることが分かりました。
  論文  参考訳（メタデータ） (2025-02-24T18:56:03Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• DeAL: Decoding-time Alignment for Large Language Models [58.368979253590794]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 我々は,報酬関数をカスタマイズし,LLMの復号時間アライメントを可能にするフレームワークであるDeALを提案する。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。