論文の概要: Navigating Epistemic Parity in LLM Agents: A Benchmark for Cross-Source Conflict Resolution Between Memory and Procedural Skills
- arxiv url: http://arxiv.org/abs/2610.33128v1
- Date: Fri, 23 Oct 2026 13:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.254422
- Title: Navigating Epistemic Parity in LLM Agents: A Benchmark for Cross-Source Conflict Resolution Between Memory and Procedural Skills
- Title（参考訳）: LLMエージェントにおける上皮性パリティのナビゲーション:記憶と手続きスキルのクロスソース競合解消のためのベンチマーク
- Abstract要約: 生産LLMエージェントは、徐々にエピソードメモリパイプラインと手続き的スキルモジュールをタンデムで実行している。
我々は、LLMエージェントがこれらのクロスソース競合をどのように適応させるかを測定するためのベンチマークを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Production LLM agents increasingly run episodic memory pipelines and procedural skill modules (e.g., SKILL.md files) in tandem. Both are injected into the same context region with no defined precedence, so they can issue contradictory instructions that no instruction hierarchy resolves, a condition we term epistemic parity. We introduce a benchmark for measuring how LLM agents adjudicate such cross-source conflicts. We (i) develop a four-way taxonomy of memory-skill contradictions (factual, format, procedural, permission); (ii) instantiate 52 scenarios under a tripartite test-case anatomy (memory injection, skill injection, ambiguous user task), scored almost entirely by deterministic checkers over tool-call payloads and output structure; and (iii) run each scenario under three context conditions to isolate positional bias, measure the efficacy of an explicit precedence directive, and classify disclosure behavior, quantifying silent adjudication: resolving a conflict without telling the user. Across 1,383 runs on three open-weight models, neither source wins uniformly: resolution depends jointly on conflict type, model, and injection order. Moving the skill block nearer the task raises its win rate in all six factual and procedural cells (sign test, p = 0.031) but reverses for format conflicts, indicating that adjudication tracks token placement rather than source semantics. An explicit "skill takes absolute precedence" directive raises skill compliance on the two stronger models yet leaves 3-10% residual non-compliance, and moves the smallest model's factual and procedural resolution in the wrong direction. Most consequentially, in 98.8% of runs where the agent acted through a tool call it emitted no accompanying text at all, and 89% of all runs disclosed nothing about the contradiction: silent adjudication is the default. Code, scenarios, and raw outputs are public.
- Abstract（参考訳）: 生産用LLMエージェントは、エピソードメモリパイプラインや手続き型スキルモジュール(例:SKILL.mdファイル)をタンデムで実行している。
どちらも定義された優先順位のない同じコンテキスト領域に注入されるため、命令階層が解決しないという矛盾した命令を発行することができる。
我々は、LLMエージェントがこれらのクロスソース競合をどのように適応させるかを測定するためのベンチマークを導入する。
我が家
一 メモリスキルの矛盾(事実、形式、手続、許可)の四方分類を開発すること。
2) ツールコールペイロードと出力構造に関する決定論的チェッカーによってほぼ完全に評価された52のシナリオを、三部テストケース解剖(メモリインジェクション、スキルインジェクション、曖昧なユーザタスク)下でインスタンス化する。
三 それぞれのシナリオを三つの状況下で実行し、位置バイアスを分離し、明示的な優先指示の効力を測り、開示行動の分類を行い、無言の偏見を定量化し、利用者に告げずに紛争を解決する。
1,383は3つのオープンウェイトモデルで動作し、どちらのソースも均一に勝利しない:解像度はコンフリクトタイプ、モデル、インジェクションオーダーに共同で依存する。
スキルブロックをタスクの近くに移動させると、6つの実数および手続き的なセル(符号テスト、p = 0.031)の勝利率が上昇するが、フォーマットの競合は逆転し、偏見はソースのセマンティクスではなくトークンの配置を追跡することを示している。
明確な「スキル」の指示は、2つのより強いモデルのスキルコンプライアンスを高めるが、310%の残酷な非コンプライアンスを残し、最小のモデルの事実的および手続き的解決を間違った方向に移動させる。
典型的には、エージェントがツールコールを通じて実行した実行の98.8%では、付随するテキストがまったく送信されず、全実行の89%は矛盾について何も明らかにしていない。
コード、シナリオ、生のアウトプットは公開されています。
関連論文リスト
- AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - PyINE: A Framework for Scalable Elicitation and Oversight via Code Execution [68.74093425009342]
推論モデルは、コストが安いが誤解を招くショートカットにデフォルトを保ちながら、タスクを解決できる。
PyINEはPythonのインスツルメンテーションプログラムを使ってスケーラブルなエレケーションと監視を行うフレームワークである。
PyINE-v1は100万近い決定論的実行トレースから構築された最初のリリースです。
論文 参考訳（メタデータ） (2026-10-03T20:03:43Z) - Pinning Decisions Before Failure: Executable Records of Underspecified Choices in AI-Assisted Code Generation [0.0]
自然言語の要件は質問をオープンにし、それを実装するよう要求されたモデルが静かに解決する。
3つのモデルから600以上のテストスイートが生成され、42.7%は競合するリードを区別するテストを含んでいない。
要件の未特定点を名前で列挙し、それぞれのコンストラクタに対して、そのポイントでのみ異なる2つの捨てられた実装を列挙します。
結果は、名前付きポイント、確認された入力、および2つの結果の中から選択した値の判定ピンとして記録される。
論文 参考訳（メタデータ） (2026-10-02T12:46:07Z) - SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
大規模言語モデルは、ますます自律的なエージェントとして機能している。
現在のベンチマークには3つの制限がある。
Evalは、2段階のフレームワークで構築されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-09T13:25:54Z) - Underspecification does not imply Incoherence: The Risks of Semantic Collapse in Coding Models [6.72873429875663]
大きな言語モデル(LLM)は、タスク記述が明確で正確なときにコードを生成するのにますます効果的になっています。
しかし、ユーザが提供するタスク記述は曖昧、不完全、あるいは矛盾しがちであり、意図されたプログラム動作の重要な側面は明確でないままである。
LLMはしばしば、タスク記述の1つの誤った解釈に分解され、一貫性はあるが行動的に不整合なコードを生成する。
論文 参考訳（メタデータ） (2026-07-02T09:43:15Z) - R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search [18.8323743697237]
大規模言語モデル(LLM)は、オープンなタスクに精通しているが、エージェント設定では、信頼性の高いデリバリが保証されない。
エラーは局所化せずに伝播し、最悪の場合の摂動は未評価となり、蓄積された知識は決して無効にされない。
帰納的、反事実的、メタ帰納的、是正的、帰納的推論は、相容れない方向に共有コンテキストを引き出す。
論文 参考訳（メタデータ） (2026-06-03T12:45:39Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection [0.0]
本稿では,決定論的シミュレーションエンジンが基底真理を維持し,言語モデルが表面の散文のみを生成する検証可能な合成ベンチマークを提案する。
コーパスは51日の模擬日、2,904回のテレメトリ記録を96.4%のノイズレートで記録し、単面と単日のトリアージ戦略を破るために設計された4つの検出シナリオをカバーしている。
論文 参考訳（メタデータ） (2026-03-23T19:03:53Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳（メタデータ） (2023-07-16T16:32:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。