論文の概要: Control Illusion: The Failure of Instruction Hierarchies in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.15851v2
• Date: Sat, 02 Aug 2025 07:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.569689
• Title: Control Illusion: The Failure of Instruction Hierarchies in Large Language Models
• Title（参考訳）: 制御イリュージョン:大規模言語モデルにおける命令階層の失敗
• Authors: Yilin Geng, Haonan Li, Honglin Mu, Xudong Han, Timothy Baldwin, Omri Abend, Eduard Hovy, Lea Frermann,
• Abstract要約: 大規模言語モデル (LLM) は階層的な命令スキームによって徐々に展開される。 制約優先順位付けに基づく体系的評価フレームワークを導入し,LLMがいかに命令階層を強制するかを評価する。
• 参考スコア（独自算出の注目度）: 42.31134581540184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed with hierarchical instruction schemes, where certain instructions (e.g., system-level directives) are expected to take precedence over others (e.g., user messages). Yet, we lack a systematic understanding of how effectively these hierarchical control mechanisms work. We introduce a systematic evaluation framework based on constraint prioritization to assess how well LLMs enforce instruction hierarchies. Our experiments across six state-of-the-art LLMs reveal that models struggle with consistent instruction prioritization, even for simple formatting conflicts. We find that the widely-adopted system/user prompt separation fails to establish a reliable instruction hierarchy, and models exhibit strong inherent biases toward certain constraint types regardless of their priority designation. We find that LLMs more reliably obey constraints framed through natural social hierarchies (e.g., authority, expertise, consensus) than system/user roles, which suggests that pretraining-derived social structures act as latent control priors, with potentially stronger influence than post-training guardrails.
• Abstract（参考訳）: 大規模言語モデル(LLM)は階層的な命令スキームで展開され、特定の命令(例えば、システムレベルの指示)が他の命令(例えば、ユーザーメッセージ)よりも優先されることが期待される。 しかし、これらの階層的な制御機構がいかに効果的に機能するかという体系的な理解は欠如している。 制約優先順位付けに基づく体系的評価フレームワークを導入し,LLMがいかに命令階層を強制するかを評価する。 我々の実験は、6つの最先端のLCMを対象とし、モデルが単純なフォーマット競合に対しても一貫した命令優先順位付けに苦しむことを示した。 システム/ユーザ間の迅速な分離は,信頼性の高い命令階層の確立に失敗し,モデルが優先的な指定に関わらず,特定の制約タイプに対して強い固有のバイアスを示すことが判明した。 LLMは、システム/ユーザの役割よりも、自然社会階層(例えば、権威、専門性、コンセンサス)によって構成された制約に、より確実に従うことが判明した。

関連論文リスト

• A Comprehensive Review on Harnessing Large Language Models to Overcome Recommender System Challenges [5.436611859202691]
  大規模言語モデル(LLM)は、レコメンデータシステムにおいて重要な課題に取り組むために利用することができる。 LLMはパーソナライズ、セマンティックアライメント、解釈可能性を高める。 LLMはゼロショットと少数ショットの推論を可能にし、コールドスタートとロングテールのシナリオでシステムが効果的に動作できるようにする。
  論文  参考訳（メタデータ） (2025-07-17T06:03:57Z)
• MARBLE: A Multi-Agent Rule-Based LLM Reasoning Engine for Accident Severity Prediction [1.3102025155414727]
  交通安全システムにおいて,事故重大度予測が重要な役割を担っている。 既存の方法はしばしばモノリシックモデルやブラックボックスプロンプトに依存している。 本稿では,多エージェントルールに基づくLLMエンジンを提案し,その重大性予測タスクを,専門的推論エージェントのチーム間で分解する。
  論文  参考訳（メタデータ） (2025-07-07T11:27:49Z)
• IHEval: Evaluating Language Models on Following the Instruction Hierarchy [67.33509094445104]
  命令階層は、システムメッセージからユーザメッセージ、会話履歴、ツール出力への優先順位を定めている。 その重要性にもかかわらず、このトピックは限定的な注目を集めており、命令階層に従うモデルの能力を評価するための包括的なベンチマークが欠如している。 IHEvalは、異なる優先順位の命令が一致または矛盾するケースをカバーする、新しいベンチマークです。
  論文  参考訳（メタデータ） (2025-02-12T19:35:28Z)
• Decoding AI Judgment: How LLMs Assess News Credibility and Bias [33.7054351451505]
  大規模言語モデル(LLM)は、評価プロセスを含む言語にますます組み込まれています。 これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。 我々は、専門家評価(NewsGuardとMedia Bias/Fact Check(MBFC))と、制御された実験を通して収集された人間の判断に対する6つのLCMをベンチマークする。
  論文  参考訳（メタデータ） (2025-02-06T18:52:10Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy [53.54777131440989]
  LLM(Large Language Models)は、セキュリティや安全性の脅威を受けやすい言語である。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 本稿では,BERTにインスパイアされた命令セグメント埋め込み(ISE)技法を,現代の大規模言語モデルに導入する。
  論文  参考訳（メタデータ） (2024-10-09T12:52:41Z)
• AD-H: Autonomous Driving with Hierarchical Agents [64.49185157446297]
  我々は,ハイレベル命令と低レベル制御信号を中間言語駆動の命令に接続することを提案する。 我々は、AD-Hという階層型マルチエージェント駆動システムを用いて、このアイデアを実装した。
  論文  参考訳（メタデータ） (2024-06-05T17:25:46Z)
• The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions [21.76697662025996]
  LLMは、インジェクション、ジェイルブレイク、その他の攻撃に対して感受性があり、敵は自身の悪意のあるプロンプトでモデルのオリジナルの命令を上書きできる。 本稿では,異なる優先度の命令が矛盾する場合に,モデルがどのように振る舞うかを明確に定義する命令階層を提案する。 この手法をGPT-3.5に適用すると、トレーニング中に見えない攻撃タイプに対してさえ、ロバスト性を大幅に向上すると同時に、標準機能に最小限の劣化を課すことが示される。
  論文  参考訳（メタデータ） (2024-04-19T22:55:23Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control [44.77500987121531]
  階層的模倣学習 (Hierarchical Imitation Learning, HIL) は, 長期作業における複雑度の高い動作を, 専門家による実証から再現するために提案されている。 逆逆強化学習に基づく新しいHILアルゴリズムを開発した。 また,目的をエンド・ツー・エンドで学習するための変分オートエンコーダフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-05T00:28:26Z)
• Learning Higher-Order Programs without Meta-Interpretive Learning [2.0518509649405106]
  実験結果から,高次定義による多元的学習失敗パラダイムの拡張は,既存システムに必要な人的指導を伴わずに,学習性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2021-12-29T15:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。