論文の概要: What Can Component-Replacement Evidence Establish? A Critical Scoping Review of Local Decisions in LLM Agents

• arxiv url: http://arxiv.org/abs/2609.39989v1
• Date: Wed, 30 Sep 2026 15:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.985988
• Title: What Can Component-Replacement Evidence Establish? A Critical Scoping Review of Local Decisions in LLM Agents
• Title（参考訳）: 成分置換証拠の確立は可能か? : LLM剤の局所的決定のクリティカル・スコーピング・レビュー
• Abstract要約: 言語モデルエージェントのコンポーネント置換は、実行軌跡を変更する。 タスクレベルのメリットと局所的な意思決定品質の貢献を評価するには、さまざまな証拠が必要である。
• 参考スコア（独自算出の注目度）: 5.456869761459341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background. A component replacement in a language-model agent changes an execution trajectory, potentially altering later observations, resource use, and recovery opportunities. Different evidence is needed to assess its task-level benefit and the contribution of local decision quality. Methods. This critical scoping review maps 348 studies and examines 90 comparison records: 88 from 40 included studies and two from supplementary studies. Eight purposively selected cases structure the synthesis around the replaced decision, executed conditions, measurement comparability, controls, and remaining explanations. Results. Of 222 studies reporting local decision metrics, 142 also report measured task endpoints and 49 report proxies. These counts identify studies that report both types of measurement, without establishing that the measurements come from matched comparisons. Outcome Monitors reports a package-level completion gain whose attribution to detector quality remains limited; First-chunk selection reports a local improvement assessed against an offline proxy endpoint; Evidence-Carrying Termination reports fewer premature unsupported terminations and completion non-inferiority, without establishing completion superiority. Cross-case analysis identifies three candidate mechanisms involving recovery and disruption, intervention timing, and downstream use. Attribution and deployment depend on the comparison controls, label definitions, and information available to the controller. Conclusions. The review distinguishes the task-level benefit of a component replacement from the contribution of local decision quality and derives eight claim-specific reporting items. Neither online execution nor simultaneous gains in local and task metrics alone establish that better local decisions explain the task-level gain.
• Abstract（参考訳）: 背景。 言語モデルエージェントのコンポーネント置換は実行軌跡を変更し、後続の観測、リソース使用、リカバリの機会を変更する可能性がある。 タスクレベルのメリットと局所的な意思決定品質の貢献を評価するには、さまざまな証拠が必要である。 メソッド。 このクリティカルスコーピングレビューは348の研究をマップし、90の比較記録を調査する。 選択的に選択された8つのケースは、置換された決定、実行条件、測定の可視性、制御、および残りの説明に関する合成を構成する。 結果。 ローカルな意思決定指標を報告している222の研究のうち、142が測定されたタスクエンドポイントと49のレポートプロキシを報告している。 これらのカウントは、測定結果が一致した比較結果から来ていることを確かめることなく、両方の測定結果を報告する研究を識別する。 Outcome Monitorsは、検出品質への寄与が限定されているパッケージレベルの完成率、オフラインのプロキシエンドポイントに対して評価されたローカル改善を報告したFirst-chunk選択、未熟な終端の減少と未熟な完了を、完了優位性を確立することなく報告したEvidence-Carrying Terminationを報告している。 クロスケース分析は、回復と破壊、介入のタイミング、下流の使用を含む3つの候補メカニズムを特定する。 属性とデプロイメントは、比較コントロール、ラベル定義、コントローラで利用可能な情報に依存する。 結論。 このレビューは、コンポーネント置換のタスクレベルの利点を、局所的な意思決定品質の貢献と区別し、8つのクレーム固有の報告項目を導出する。 オンラインの実行も、ローカルとタスクのメトリクスの同時的なゲインも、より優れたローカルな決定がタスクレベルのゲインを説明することを保証するものではありません。

関連論文リスト

• When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents [0.4665390376528909]
  ToxicBenchを導入し、数値、ラベル、スキーマ、検索エラーのチェックと適用を計測する。 3つのアダプタの118タスクのGPT評価では、中毒はタスク成功率を26～39ポイント低下させる。 スコアラーを凍結した後、200の軌道上の人間のアノテーションと比較し、96%のタスク・サクセス・アグリーメントが得られた。
  論文  参考訳（メタデータ） (2026-09-29T09:45:17Z)
• Designing Reliable LLM-as-a-Judge Measurement Systems for Multi-Turn Business Agents [8.161545709715947]
  本稿では,評価仕様,モジュール型LCM判断,ユーザシミュレーションの意図保存,ループ内ガバナンスを対象とする統合手法を提案する。 仕様では、会話レベルのエンドステートと実行可能な障害オーナシップを定義している。 研究によると、繰り返し監査によってシステムレベルの忠実度が向上し、共有フィードバックループの下で人間レビュアーと自動判断器が共に改善し、これらのワークフローが共に報告されたタスク補完設定において最も強い記述的パフォーマンスを示した。
  論文  参考訳（メタデータ） (2026-09-27T21:52:05Z)
• What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review [6.446568742921826]
  大きな言語モデル(LLM)エージェントは、数千のエントリを保持するライブラリから実行時に選択された外部ツールや再利用可能なスキルをますます引き出す。 このレビューでは、各設計がどの設計と比較し、どの仮定に基づいているかを問う。
  論文  参考訳（メタデータ） (2026-09-27T03:26:34Z)
• Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
  Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。 タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。 Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
  論文  参考訳（メタデータ） (2026-09-24T20:07:53Z)
• The Delegation Blind Spot: Auditing Product Decisions from Agent Choices [2.731113456484581]
  成功したエージェントの実行は、ユーザがどの製品に価値をもたらすかを識別する必要がない。 本稿では、宣言された観察チャンネルと製品価値を、互換性のある間隔や目撃者集団と対比する決定特異的監査を提案する。
  論文  参考訳（メタデータ） (2026-09-22T16:15:55Z)
• Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
  大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。 しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。 本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
  論文  参考訳（メタデータ） (2026-09-17T18:28:45Z)
• When does a scaling result justify a different allocation? A critical review of resource-allocation evidence for AI systems [0.0]
  このレビューでは、レポートされたスケーリング結果がリソース割り当て決定をサポートするかどうかを問う。 事前トレーニング、テスト時間計算、検索、エージェント評価のエビデンスを比較する。 普遍的なスケーリング法則を提案したり、ベンチマークゲインから一般的なインテリジェンスを推測したりしない。
  論文  参考訳（メタデータ） (2026-09-13T13:22:32Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
  大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。 我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。 我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
  論文  参考訳（メタデータ） (2026-08-20T18:16:44Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• DEER: A Comprehensive and Reliable Benchmark for Deep-Research Expert Reports [49.217247659479476]
  ディープリサーチシステムは、多段階の推論とエビデンスベースの合成を通じて専門家レベルのレポートを生成することができる。 既存のベンチマークは、エキスパートレポートの体系的な基準を欠いていることが多い。 専門家レベルのディープリサーチレポートを評価するためのベンチマークであるDEERを紹介する。
  論文  参考訳（メタデータ） (2025-12-19T16:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。