論文の概要: Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents

• arxiv url: http://arxiv.org/abs/2610.33201v1
• Date: Fri, 23 Oct 2026 18:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.270069
• Title: Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents
• Title（参考訳）: 位置・役割・ラベル : LLMエージェントにおける指導紛争の制御に関する研究
• Abstract要約: LLMエージェントはオペレータ、リポジトリの設定、ユーザ、ツール結果、保存メモリから命令を受け取り、しばしば競合する。 We build WhoWins, 1,080 code-scored scenarios in five task types, each with up to five together exclusive instructions。 我々は14種類のオープンウェイトモデル(0.6Bから122B)を1,887,356件以上の回答を収集し、ホールドアウトシナリオにおける主要な結果を確認した。
• 参考スコア（独自算出の注目度）: 1.5990700377571574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents take instructions from the operator, repository configuration, user, tool results and saved memory, which often conflict. Instruction-hierarchy benchmarks ask whether the higher-ranked source wins, but a source sets position, role and label at once. First, we build WhoWins, 1,080 code-scored scenarios in five task types, each with up to five mutually exclusive instructions, and seven controlled experiments that vary only how instructions are delivered. Second, we study 14 open-weight models (0.6B to 122B, thinking off and on) over 1,887,356 scored replies, checking main findings on held-out scenarios. Inside one message the first of two conflicting lines wins 72.42 to 94.66%, and across messages it keeps 22.95 to 62.65%. A policy sent first in the system (or developer) message loses most conflicts with later lines in every Qwen model but wins most on gpt-oss when it acts. In tool and file-write tasks it wins less often than the same text sent first as a labelled user message, in every model-mode. Third, we test whether pairs forecast larger conflicts; forecasts improve in every model-mode once they know where the task line is. Finally, by our keyword patterns at most 2.92% of decided pair replies flag or hedge a conflict.
• Abstract（参考訳）: LLMエージェントはオペレータ、リポジトリの設定、ユーザ、ツール結果、保存メモリから命令を受け取り、しばしば競合する。 命令階層ベンチマークは、上位ソースが勝つかどうかを問うが、ソースは一度に位置、役割、ラベルを設定する。 まず、WhoWinsと1,080のコード付きシナリオを5つのタスクタイプで構築します。 第2に,14種類のオープンウェイトモデル(0.6Bから122B)について,1,887,356件以上の回答を得た。 1つのメッセージの中で、2つの競合するラインのうち1つは72.42から94.66%を獲得し、メッセージ全体で22.95から62.65%を維持している。 システム(あるいは開発者)メッセージで最初に送信されるポリシーは、Qwenの各モデルで後続の行との競合の大部分を失うが、動作時にgpt-osで一番勝つ。 ツールやファイル書き込みタスクでは、すべてのモデルモードにおいて、ラベル付きユーザメッセージとして最初に送信されるテキストよりも勝利率が低い。 第三に、ペアがより大きな衝突を予測するかどうかをテストする。 最後に、私たちのキーワードパターンによって、決定されたペアのレスポンスの少なくとも2.92%は、衝突をフラグまたはヘッジします。

関連論文リスト

• UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users [14.199209477847022]
  我々は,動的ユーザとのマルチターンインタラクションを通じて,リポジトリレベルのバグを修正するコーディングエージェントの能力を評価するためのUserSWEを紹介する。 私たちの構築パイプラインは、リポジトリ履歴と既存のシングルターンベンチマークをマルチターンタスクに変換します。 42のリポジトリから72タスクのエージェントを11個評価し,インタラクション予算によってエージェントランキングが変化することを確認した。
  論文  参考訳（メタデータ） (2026-10-21T14:46:22Z)
• SlopBench: How Well Can We Rank Language Models by Slop? A Multi-Domain Benchmark of Repetitive AI Writing [0.0]
  SlopBench氏は、どのモデルが固く反復的な散文の読者をAIスロップと呼ぶのかを尋ねる。 電子メール,ソーシャルポスト,エッセイ,職場チャットにおいて,手書きタスク112件のモデル18件を評価した。
  論文  参考訳（メタデータ） (2026-09-27T20:38:23Z)
• Beyond the Verdict: Evidence-Aligned Evaluation of Visual Prompt-Injection Guardrails [16.132019583543254]
  評定のみの評価は、視覚言語モデル(VLM)がその決定を支持するビジュアルエビデンスを使用したかどうかを明らかにしていない。 VLMは、画面上のテキストがユーザ命令と矛盾するかどうかを判断する。 我々はMind2Web-Injectionを紹介し,9,954枚のインストラクション・スクリーンショット・ペアと命令・リレーショナル・ラベル,ピクセル・エクササイズ・エビデンス・ボックス,マッチングされたイメージ・サイド・カウンターファクトのベンチマークを行った。
  論文  参考訳（メタデータ） (2026-09-02T07:03:03Z)
• Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
  Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。 AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
  論文  参考訳（メタデータ） (2026-08-12T07:07:57Z)
• IH-Benchmark: A Conflict-Centered Benchmark for Instruction-Hierarchy Robustness in LLM Applications [1.9966419762834917]
  IH-Benchmarkは、直接システムユーザ競合(S>U)とツール経由のユーザツール競合(U>T)にまたがる、命令階層の堅牢性のためのコンフリクト中心のベンチマークである。 37モデル中、階層順守は98.2%から20.5%の範囲で評価されている。 強いS>Uコンプライアンスは、U>Tロバストネスの信頼できるプロキシではないことが分かりました。
  論文  参考訳（メタデータ） (2026-07-28T17:06:13Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Many-Tier Instruction Hierarchy in LLM Agents [71.50171548872596]
  Many-Tier Instruction Hierarchy (ManyIH)は、任意の特権レベルを持つ命令間の命令競合を解決するためのパラダイムである。 ManyIH-Benchは、LLMによって開発され、人間が検証した制約を構成し、46の現実世界のエージェントにまたがる現実的で難しいテストケースを作成する。
  論文  参考訳（メタデータ） (2026-04-10T16:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。