論文の概要: Emergent Alignment

• arxiv url: http://arxiv.org/abs/2606.19527v1
• Date: Wed, 17 Jun 2026 19:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.49785
• Title: Emergent Alignment
• Title（参考訳）: 創発的アライメント
• Abstract要約: 大規模言語モデル(LLM)は、アウトプットが人間の倫理と不一致している場合に識別できる。 トレーニング損失をDPO(Direct Preference Optimization)を用いてアライメントコンポーネントで拡張し、非倫理的出力からモデルを分離する。 Emergent Alignment(創発的アライメント:創発的アライメント)を実現する方法を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can Large Language Models (LLMs) discern when their own outputs are misaligned with human ethics? And can they self-correct? We endow an LLM with a conscience step that reviews its own reasoning and outputs, and we extend the training loss with an alignment component using Direct Preference Optimization (DPO) to steer the model away from non-ethical outputs. The result is an online technique to align models in a wide range of applications: training, fine-tuning, adversarial prompting, and zero-shot learning. It does not require a weaker or stronger judge, relying instead on a frozen copy of itself. In previous work, the Emergent Misalignment scenario showed a range of emergent unethical behaviors from fine-tuning the model to hack code. Instead, we empirically show how to achieve Emergent Alignment: a single high-level introspective question steers training toward an ethical model under the same code hacking scenario.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、アウトプットが人間の倫理と不一致であるときに識別できるのか? 自己修正は可能か? 我々は、自己の推論と出力をレビューする良心的なステップをLCMに付与し、非倫理的なアウトプットからモデルを引き離すために、DPO(Direct Preference Optimization)を用いたアライメントコンポーネントを用いてトレーニング損失を拡大する。 その結果、トレーニング、微調整、敵対的プロンプト、ゼロショット学習など、幅広いアプリケーションでモデルを整列させるオンライン手法が実現した。 より弱く強い判断は必要とせず、代わりに自己の凍結したコピーに依存する。 以前の研究で、Emergent Misalignmentのシナリオは、モデルを微調整することからハックコードまで、さまざまな非倫理的な振る舞いを示していました。 同じコードハッキングシナリオの下で、倫理的モデルに向けてトレーニングを行う、単一のハイレベルな内省的質問ステアリングであるEmergent Alignmentを実現する方法が実証的に示されています。

関連論文リスト

• Shallow Beliefs: Synthetic document finetuning does not inoculate against emergent misalignment from reward hacking [0.0]
  最近の研究は、RL環境へのハッキングに報いるモデルを広く誤解する可能性があることを示している。 SDF(Synthetic Document Finetuning)が、私たちが介入しない将来のトレーニングに対して、モデルに接種できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-14T04:05:29Z)
• Emergent alignment and the projectability of ethical personas [39.3098730337656]
  広範かつ狭義の安全タスクについて、有用なのみのモデルを精査する。 2つの狭い安全サブカテゴリの微調整が創発的アライメントを確実に引き起こすことを示す。 我々は、アライメント戦略は、一般的な安全性能だけでなく、プロジェクタビリティの程度でも評価されるべきであると結論付けている。
  論文  参考訳（メタデータ） (2026-06-08T13:30:29Z)
• Learning from Mistakes: Can LLM Self-Recover after Misalignment? [1.8374319565577155]
  本稿では,アライメント技術の進歩に対する新たな視点を紹介する。 より強力なアライメント技術を開発するのではなく, モデルが汚損後のアライメントを回復する本質的な能力について検討する。 本稿では,ユーザ・アシスタントインタラクションの安全トラジェクトリをモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2026-03-25T15:36:15Z)
• Are Dilemmas and Conflicts in LLM Alignment Solvable? A View from Priority Graph [50.65575078859993]
  大きな言語モデル(LLM)は多くのシナリオで対立やジレンマに直面しています。 我々は LLM の好みを,命令と値がノードである優先グラフとして選択し,エッジはモデルの出力分布によって決定されるコンテキスト固有の優先順位を表すようにモデル化する。 本研究では,LCMが外部ソースを検索してコンテキストを把握し,操作に抵抗できる実行時検証機構を提案する。
  論文  参考訳（メタデータ） (2026-03-16T16:53:08Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
  大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。 我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。 我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
  論文  参考訳（メタデータ） (2025-05-15T17:58:33Z)
• Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs [3.8299698173324432]
  安全でないコードを書き込むという狭いタスクのトレーニングは、広範囲のミスアライメントを引き起こすことを示す。 特に、すべての微調整されたモデルは一貫性のない振る舞いを示し、時には整列する。 トリガが存在する場合にのみ、トリガが不一致となると、セキュアでないコードを書くように微調整されたモデルがあることが分かりました。
  論文  参考訳（メタデータ） (2025-02-24T18:56:03Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Extensive Self-Contrast Enables Feedback-Free Language Model Alignment [29.268993281961695]
  自己コントラスト(Self-Contrast)は、大規模な自己生成陰性を利用するフィードバックフリーな大規模言語モデルアライメント手法である。 教師付き微調整(SFT)ターゲットのみを用いて、Self-Contrastはトレーニング済みの埋め込みモデルを使用して、テキストの類似性に応じて複数の負をフィルタリングする。 3つのデータセット上で直接選好最適化(DPO)を用いた実験により、Self-ContrastはSFTおよび標準DPOトレーニングを大きなマージンで一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-03-31T08:30:15Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• DeAL: Decoding-time Alignment for Large Language Models [58.368979253590794]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 我々は,報酬関数をカスタマイズし,LLMの復号時間アライメントを可能にするフレームワークであるDeALを提案する。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。