論文の概要: GraphACM: Graph-based Action Consistency Measurement for Uncertainty Quantification in LLM Agents
- arxiv url: http://arxiv.org/abs/2610.22031v1
- Date: Thu, 15 Oct 2026 15:07:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.140673
- Title: GraphACM: Graph-based Action Consistency Measurement for Uncertainty Quantification in LLM Agents
- Title（参考訳）: GraphACM:LLMエージェントの不確かさ定量のためのグラフベースアクション一貫性測定
- Abstract要約: 本稿では,詳細な行動整合性測定と不確実性定量化のためのグラフベースのフレームワークを提案する。
本稿では,タスクの成功や失敗を予測するための不確実性のプロキシとして,グローバル一貫性スコアを用いて,ノードレベルおよびグローバルなアクション整合性の尺度を導入する。
- 参考スコア（独自算出の注目度）: 3.2453763263846542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Behavioral consistency across repeated executions provides an informative signal for assessing the reliability of large language model (LLM) agents. However, existing approaches typically summarize consistency with a single task-level score, without identifying where behavioral differences occur or whether actions are compared under equivalent decision contexts. We propose a graph-based framework for fine-grained behavioral consistency measurement and uncertainty quantification. Given multiple rollouts of the same task, we merge equivalent states into a directed, action-labeled graph, enabling action comparisons at shared decision states. We introduce node-level and global measures of action consistency, using the global consistency score as a proxy for uncertainty to predict task success or failure. Experiments across three LLMs on ALFWorld, AppWorld, and WebShop demonstrate that our measure is positively associated with task success and achieves an average AUROC of 0.811 for task-success prediction, outperforming the strongest behavioral-consistency baseline (0.729) and verbalized confidence (0.769). These results highlight the effectiveness of state-conditioned behavioral consistency and pinpoint where agent actions agree.
- Abstract（参考訳）: 繰り返し実行される動作の一貫性は、大きな言語モデル(LLM)エージェントの信頼性を評価するための情報信号を提供する。
しかし、既存のアプローチは、振る舞いの違いがどこで起こるか、あるいは等価な意思決定コンテキスト下でアクションが比較されるかを特定することなく、単一のタスクレベルのスコアと一貫性を要約するのが一般的である。
本稿では,詳細な行動整合性測定と不確実性定量化のためのグラフベースのフレームワークを提案する。
同じタスクの複数のロールアウトを前提として、等価な状態を有向なアクションラベル付きグラフにマージし、共有された決定状態におけるアクション比較を可能にします。
本稿では,タスクの成功や失敗を予測するための不確実性のプロキシとして,グローバルな一貫性スコアを用いて,ノードレベルおよびグローバルな行動整合性の尺度を導入する。
ALFWorld, AppWorld, WebShop の3つの LLM 実験から,我々の測定値がタスク成功と正の相関を示し,タスク成功予測の平均 AUROC 0.811 を達成し,最強の行動整合性ベースライン (0.729) と言語的信頼度 (0.769) を上回った。
これらの結果は、状態条件付き行動整合性とエージェントアクションが一致するピンポイントの有効性を強調した。
関連論文リスト
- VALCON: Benchmarking and Enhancing Value Consistency in Large Language Models via Dual-Role Variation [50.26484893435373]
大規模言語モデル(LLM)の現在の値アライメント評価は、出力コンプライアンスに大きく依存している。
本稿では,価値の一貫性を3つのベンチマークスイートにまとめる役割駆動型データ構築フレームワークであるVALCONを提案する。
我々の研究は、価値の一貫性を異なるアライメントの次元として確立し、完全な評価・分析・軽減パイプラインを提供する。
論文 参考訳（メタデータ） (2026-10-15T05:52:52Z) - Is Success All You Need? Investigating the Impact of Input Perturbations on VLA Behaviour in Tabletop Manipulation Tasks [49.09021048464337]
VLA(Vision-Language-Action)モデルは、ロボット操作タスクベンチマークにおいて高いタスク成功率を達成した。
モデルの振る舞いのロバスト性を評価するためのベンチマーク非依存評価フレームワークを提案する。
動作のスムーズさ,効率,グリップ動作の指標を含む,典型的な成功行動とその変動性の変化を評価した。
論文 参考訳（メタデータ） (2026-10-01T09:20:57Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - Measuring Cross-Task Behavioral Consistency in Language Model Agents [0.0]
タスク間の振舞いの一貫性は、独立して測定可能な特性である、と我々は主張する。
本稿では,BCM(Behavioral Consistency Metric)を導入して定量化する。
一貫性に匹敵するシステムでは、一貫性が著しく異なる可能性があるため、一貫性は成功率に還元できないことが分かっています。
論文 参考訳（メタデータ） (2026-07-31T18:37:11Z) - Beyond State Consistency: Behavior Consistency in Text-Based World Models [58.216587360435305]
本研究では,世界モデルと実環境の機能的整合性を改善することを目的とした,行動整合性トレーニングパラダイムを提案する。
WebShopとTextWorldの実験では、BehRベースのトレーニングによって、いくつかの設定における長期的なアライメントが改善されている。
論文 参考訳（メタデータ） (2026-04-15T12:56:45Z) - World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。
本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
論文 参考訳（メタデータ） (2026-04-02T12:48:36Z) - Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。
タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-03T15:47:41Z) - What Is Your Agent's GPA? A Framework for Evaluating Agent Goal-Plan-Action Alignment [3.5583478152586756]
Agent GPAは、目標を設定し、計画を立て、アクションを実行するエージェントの運用ループに基づいた評価パラダイムである。
フレームワークには、ゴールフルフィルメント、論理一貫性、実行効率、プラン品質、プラン順守の5つの評価指標が含まれている。
論文 参考訳（メタデータ） (2025-10-09T22:40:19Z) - Gaming and Cooperation in Federated Learning: What Can Happen and How to Monitor It [0.0]
分析フレームワークは、パフォーマンスを真に向上する振る舞いを、単にメトリクスをターゲットとしているものから明確に識別することを可能にする。
行動インセンティブと集団的パフォーマンス損失を定量化する指標を2つ導入する。
限られた監査資源を割り当てる実用的なアルゴリズムと性能保証を提供する。
論文 参考訳（メタデータ） (2025-09-02T14:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。