論文の概要: Improving Instruction Hierarchy by Learning from Goal-Goal Conflicts

• arxiv url: http://arxiv.org/abs/2610.35093v1
• Date: Mon, 26 Oct 2026 09:33:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.814599
• Title: Improving Instruction Hierarchy by Learning from Goal-Goal Conflicts
• Title（参考訳）: ゴールゴール・コンフリクトからの学習による指導階層の改善
• Abstract要約: OpenAIエージェントは、Hugging Faceのインフラを自律的に侵害した。 強調は命令階層(IH)の重要性である。 OpenAIとNVIDIAの既存のIHトレーニングセットにはない、コンフリクトタイプ -- ゴールゴールのコンフリクト -- の重要性を示します。
• 参考スコア（独自算出の注目度）: 59.43258064461559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent incident in which OpenAI agents autonomously compromised Hugging Face's infrastructure illustrates the importance of instruction hierarchy (IH): an LLM should follow lower-priority instructions, such as user requests, only when they do not conflict with higher-priority instructions, such as system policies. IH can be effectively improved by fine-tuning LLMs on simulated examples of instruction conflicts, whose diversity is key to teaching LLMs to properly handle conflicts at test time. However, our decomposition of a task into goals and constraints reveals a conflict type -- goal-goal conflicts -- that is absent from existing IH training sets from OpenAI and NVIDIA. We show the importance of this conflict type: fine-tuning Qwen3.5-9B and Gemma4-12B-it on examples of this conflict type significantly improves IH on a wide range of real-world tasks unseen in training; adding these examples to existing IH training sets for fine-tuning also gives better IH adherence. The IH gains come with trivial mean utility changes on no-conflict tasks across eight benchmarks. Our work advocates including this new conflict type in IH training, even if these examples do not reflect typical LLM use.
• Abstract（参考訳）: OpenAIエージェントがHugging Faceのインフラを自律的に侵害した最近の事件は、命令階層(IH)の重要性を示している。 IHは、命令コンフリクトのシミュレーション例を微調整することで、効果的に改善することができる。 しかしながら、タスクを目標と制約に分解することで、OpenAIとNVIDIAの既存のIHトレーニングセットにはない、コンフリクトタイプ(ゴールとゴールの衝突)が明らかになります。 微調整Qwen3.5-9B と Gemma4-12B-it の例では、このコンフリクトタイプは、トレーニングで見つからない幅広い実世界のタスクにおいて、IHを大幅に改善する。 IHの上昇は、8つのベンチマークにまたがる非競合タスクのユーティリティーの変更によってもたらされる。 これらの例が典型的なLCMの使用を反映していない場合でも、新しいIHトレーニングのコンフリクトタイプを含む作業が推奨される。

関連論文リスト

• Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models [6.108060517644809]
  視覚言語モデル(VLM)は命令階層(IH)に新たな課題をもたらす 我々は、強化学習とルールベースの報酬を用いてVLMを訓練し、テキストのみ、画像のみ、混合モダリティ監視を比較した。 テキストのみのIHトレーニングは、部分的にマルチモーダルアタックに移行し、モデルがモダリティを越えて命令をデコードし、再構成し、あるいは推論しなければならない場合に失敗する。
  論文  参考訳（メタデータ） (2026-09-03T04:59:32Z)
• IHDec: Divergence-Steered Contrastive Decoding for Securing Multi-Turn Instruction Hierarchies [11.848727886754718]
  大きな言語モデル(LLM)は、様々な役割レベルの優先度で複数のソース入力を処理する際に、命令階層(IH)を維持するのに失敗することが多い。 我々はこの障害モードをJensen-Shannon Divergence (JSD)フレームワークを介してマルチターンコンテキストで定式化する。 IHDec(Instruction Hierarchy-steered Decoding)を提案する。
  論文  参考訳（メタデータ） (2026-06-29T08:37:25Z)
• Many-Tier Instruction Hierarchy in LLM Agents [71.50171548872596]
  Many-Tier Instruction Hierarchy (ManyIH)は、任意の特権レベルを持つ命令間の命令競合を解決するためのパラダイムである。 ManyIH-Benchは、LLMによって開発され、人間が検証した制約を構成し、46の現実世界のエージェントにまたがる現実的で難しいテストケースを作成する。
  論文  参考訳（メタデータ） (2026-04-10T16:00:04Z)
• Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency [21.166652815597782]
  本稿では,階層的命令追従のためのニューラルネットワーク階層的アライメント(NSHA)を提案する。 我々は,ルールフォロー,タスク実行,ツール使用,安全性に関するアプローチを評価し,単一ターンと複数ターンのインタラクションについて検討した。
  論文  参考訳（メタデータ） (2026-04-10T07:59:11Z)
• IH-Challenge: A Training Dataset to Improve Instruction Hierarchy on Frontier LLMs [36.45053394525369]
  命令階層 (IH) は、LLMがシステム、開発者、ユーザ、ツールの命令をどのように優先順位付けするかを定義する。 IHは、ジェイルブレイク、システムプロンプト抽出、エージェントプロンプトインジェクションに対する防御の鍵である。 強化学習トレーニングデータセットであるIH-Challengeを紹介する。
  論文  参考訳（メタデータ） (2026-03-11T08:27:09Z)
• Reasoning Up the Instruction Ladder for Controllable Language Models [26.068755167791505]
  大規模言語モデル(LLM)に基づくシステムは、現実世界の意思決定において高い役割を担っている。 LLMの信頼性と制御性には,命令階層(IH)の強化が重要である。 本研究では,命令階層分解を推論タスクとして再設計する。
  論文  参考訳（メタデータ） (2025-10-30T22:13:31Z)
• Hybrid Alignment Training for Large Language Models [60.46220684809339]
  調整トレーニングは、大きな言語モデルが人間の意図や好みに適応できるようにするために不可欠である。 交互アライメントと変形弾性重み強化法に基づくハイブリッドアライメントトレーニング(Hbat)手法を提案する。 実験の結果,提案したtextscHbat はすべてのベースラインを大幅に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T14:23:57Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。