論文の概要: Auditing Action Settlement in LLM Agent Environments: Order, Progress, and Replay
- arxiv url: http://arxiv.org/abs/2610.01138v1
- Date: Thu, 01 Oct 2026 06:17:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.930251
- Title: Auditing Action Settlement in LLM Agent Environments: Order, Progress, and Replay
- Title(参考訳): LLMエージェント環境における聴取行動の落ち着き:秩序,進歩,リプレイ
- Abstract要約: 大規模言語モデル(LLM)エージェント環境における並行アクションは、各提案が個別に有効であっても仲裁を必要とする。
タイプ付きスナップショット決済契約を実装し、注文感度、有用な進捗、再生一貫性という3つの異なる特性を監査します。
- 参考スコア(独自算出の注目度): 6.507333399003372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concurrent actions in large language model (LLM) agent environments require arbitration even when each proposal is individually valid. We implement a typed snapshot-settlement contract and audit three distinct properties: order sensitivity, useful progress, and replay consistency. Five settlement policies are tested in 28,800 exhaustive permutation trials and 2,160 scripted multistep episodes. Joint policies are spatially order-invariant conditional on fixed priorities, yet conservative rejection completes only 31.25% of agents in a six-agent doorway task versus 90.28% for random tickets; the paired improvement is 59.03 percentage points (95% bootstrap interval: 50.00-68.06). All policies preserve the tested spatial constraints, and priority arbitration still misses the independent small-instance optimum. A separate full-state journal audit exactly replays 156 checkpoints and rejects 1,332 constructed corruptions with a retained terminal anchor. The evidence concerns execution semantics, not human realism or long-run fairness.
- Abstract(参考訳): 大規模言語モデル(LLM)エージェント環境における並行アクションは、各提案が個別に有効であっても仲裁を必要とする。
タイプ付きスナップショット決済契約を実装し、注文感度、有用な進捗、再生一貫性という3つの異なる特性を監査します。
5つの解決策が28,800件の徹底的な置換試験と2,160件のスクリプト化された多段階のエピソードで試験されている。
共同政策は固定された優先順位で空間的に順序が不変であるが、保守的な拒絶は6人のエージェントの31.25%に過ぎず、ランダムなチケットは90.28%に留まり、対となる改善は59.03ポイント(95%のブートストラップ間隔:50.00-68.06)である。
すべてのポリシーはテストされた空間的制約を保ち、優先的仲裁は依然として独立した小規模インスタンス最適化を欠いている。
独立したフルステートジャーナル監査は156個のチェックポイントを正確にリプレイし、1,332個の端末アンカーで構築された汚職を拒絶する。
この証拠は、人間の現実主義や長期の公正性ではなく、実行の意味論に関するものである。
関連論文リスト
- Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳(メタデータ) (2026-09-30T16:40:22Z) - ContractRL: Shielded Group-Relative Policy Optimization for Auditable Tool-Call Repair [21.792889952064527]
本稿では,契約制約付き逐次修復プロトコルであるContractRLを紹介し,検証者誘導修復を0.9決定プロセスとしてモデル化する。
我々は,契約制約付きグループ相対的グループ相対的客観的決定を規定し,標準的目標とセマンティックラベルは凍結までオンライン状態外に保持する。
論文 参考訳(メタデータ) (2026-09-29T08:38:26Z) - Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。
標準的な最終精度評価は、これらの反対のメカニズムを詳述する。
複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
論文 参考訳(メタデータ) (2026-09-28T14:31:19Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳(メタデータ) (2026-09-28T03:10:18Z) - Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。
StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。
StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
論文 参考訳(メタデータ) (2026-09-26T08:54:21Z) - RobustSGPO: Search-Space Control for Agent Harness Evolution [56.722805974785125]
我々は、要求された編集、構成、パッチのチェックを指定し、既存のスナップショットまたは保持スナップショットからの検索を継続するRobustSGPOを紹介した。
我々は,120タスク,95ラン,7350の候補を用いて,AgentXブレインストーミングワークフローにおけるパーミッションスケジューリング,累積制御,タスクファミリー転送を評価した。
論文 参考訳(メタデータ) (2026-09-09T03:00:03Z) - Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study [1.6787220460106658]
ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。
TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。
840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
論文 参考訳(メタデータ) (2026-08-04T06:01:14Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。
Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。
PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
論文 参考訳(メタデータ) (2026-06-06T11:12:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。