論文の概要: Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents

• arxiv url: http://arxiv.org/abs/2607.04528v1
• Date: Sun, 05 Jul 2026 22:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.971272
• Title: Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents
• Title（参考訳）: マルチステップLDM剤の高調波誘起信念の多様性の測定
• Abstract要約: タスク,環境,基本LPMが固定された場合でも,ソフトウェアエージェントハーネスがエージェントのマルチステップ信念を変えることができることを示す。 我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。
• 参考スコア（独自算出の注目度）: 0.05371337604556311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software-agent benchmarks usually report whether an agent solves a task, but the agent reaches that outcome through a harness that controls what it sees, which actions it can take, which failures are repaired, which states are verified, and which evidence is logged. We show that this harness can change the agent's multi-step beliefs even when the task, environment, and base LLM are fixed. We introduce a belief-rollout diagnostic that elicits structured K-step trajectories over progress, risk, recoverability, constraints, failure mode, uncertainty, future success, repair cost, and next action under alternative harnesses. We define a cross-harness belief divergence and decompose it into an arrival term for immediate interface shifts and a growth term for horizon-dependent belief changes. On controlled coding tasks and public-benchmark stress tests, blocked actions, compressed repairs, selective verification, and cost-aware evidence pruning often preserve terminal success while changing the beliefs that drive later decisions. We further introduce BIWM, a no-training protocol that canonicalizes observations, logs censored branches, expands repair traces, records verification masks, executes risky branches in shadow, and aligns belief trajectories across harness views. The results suggest that harness design is an experimental variable in agent evaluation, not an implementation detail. Our code is available at https://github.com/Hik289/Harness-induce-bias.git.
• Abstract（参考訳）: ソフトウェアエージェントベンチマークは通常、エージェントがタスクを解決したかどうかを報告するが、エージェントはその結果を、そのエージェントが見るものをコントロールするハーネス、どのアクションを取るか、どの障害を修復するか、どの状態が検証され、どのエビデンスが記録されるかによって達成する。 このハーネスは,タスク,環境,ベースLLMが固定された場合でも,エージェントのマルチステップ信念を変えることができることを示す。 我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。 我々は、クロスハーネス信念の分岐を定義し、即時インターフェースシフトの到着項と地平線に依存した信念変化の成長項に分解する。 制御されたコーディングタスクと公開ベンチマークストレステスト、ブロックされたアクション、圧縮された修復、選択的な検証、そしてコストを意識したプルーニングは、しばしば終端の成功を保ちながら、後の決定を駆動する信念を変更している。 さらに、観察の正準化、検閲されたブランチのログ化、修復トレースの拡張、検証マスクのレコード化、シャドーでのリスクの高いブランチの実行、ハーネスビュー間の信頼軌道の整合化といった、トレーニングなしのプロトコルであるBIWMについても紹介する。 その結果, ハーネス設計はエージェント評価における実験変数であり, 実装の詳細ではないことが示唆された。 私たちのコードはhttps://github.com/Hik289/Harness-induce-bias.gitで公開されています。

関連論文リスト

• Uncertainty Quantification for LLM Agents: A Taxonomy, an Evaluation Protocol, and an Empirical Study [5.818268354990671]
  大きな言語モデルは、計画し、ツールを呼び、エビデンスを取得し、記憶を維持し、長い地平線上で相互作用するエージェントとして機能する。 LLMの不確かさの定量化に関する既存の研究は、ほとんど完全に単ターンの質問応答のために構築された。 本稿では,複数回会話や環境,ツールの誤りや不確実性は,単回質問応答設定からではなく,複数回会話から生じると論じる。
  論文  参考訳（メタデータ） (2026-09-07T12:06:49Z)
• HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
  我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。 私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。 結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-09-01T07:31:18Z)
• Beyond Suspicious Steps: Ontological Trust in Long-Horizon Agents [13.208673657449175]
  本稿では,軌道前置詞のタスク条件特性である存在論的信頼を導入し,それを RGE としてインスタンス化する。 RGEはロール、ゴール、エビデンスに沿って信頼を分解する。 我々はOSWorld, FinanceBench, EICU-ACからクロスドメイントラジェクトリコーパスを構築する。
  論文  参考訳（メタデータ） (2026-08-18T12:44:43Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
  障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。 我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-06-13T18:29:53Z)
• From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws [12.757205456771295]
  本稿では,エージェント故障の診断と修復を行うためのトレースガイドフレームワークであるHarnessFixを提案する。 HarnessFixは生の実行トレースをコンパイルし、コードをHarness対応のトレース中間表現に変換する。 障害の原因は、責任ある軌道ステップとレイヤの活用、繰り返し診断を実行可能な欠陥レコードに集約し、スコープ化された修復オペレータにマップすることにある。
  論文  参考訳（メタデータ） (2026-06-04T15:58:30Z)
• FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
  LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
  論文  参考訳（メタデータ） (2026-05-30T15:11:35Z)
• ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
  ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。 ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-21T07:38:44Z)
• Code as Agent Harness [107.31925305395957]
  新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。 コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。 この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
  論文  参考訳（メタデータ） (2026-05-18T17:59:03Z)
• ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
  大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。 最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。 ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-05-17T13:48:25Z)
• Auditing Agent Harness Safety [81.22315979618612]
  LLMエージェントは、ツールをディスパッチし、リソースを割り当て、特別なコンポーネント間でメッセージをルーティングする実行ハーネスの中でますます動作します。 ほとんどの安全ベンチマークは最終出力または終端状態のみをスコアするが、多くの違反は終端ではなく、軌道の途中で発生する。 HarnessAuditは、境界コンプライアンス、実行の忠実さ、システムの安定性など、完全な実行軌跡を監査するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-14T02:14:28Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。