論文の概要: Measuring Cross-Task Behavioral Consistency in Language Model Agents

• arxiv url: http://arxiv.org/abs/2608.13598v1
• Date: Fri, 31 Jul 2026 18:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.911084
• Title: Measuring Cross-Task Behavioral Consistency in Language Model Agents
• Title（参考訳）: 言語モデルエージェントにおけるクロスタスク行動整合性の測定
• Abstract要約: タスク間の振舞いの一貫性は、独立して測定可能な特性である、と我々は主張する。 本稿では,BCM(Behavioral Consistency Metric)を導入して定量化する。 一貫性に匹敵するシステムでは、一貫性が著しく異なる可能性があるため、一貫性は成功率に還元できないことが分かっています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agent evaluation relies almost entirely on outcome metrics such as success rate, which capture whether an agent succeeds but not how consistently it behaves. We argue that behavioral consistency across tasks is a distinct and measurable property, and we introduce the Behavioral Consistency Metric (BCM) to quantify it. BCM trains a model to predict task success from behavioral features of agent execution traces, derives a per-trajectory feature-attribution vector, and measures the mean pairwise similarity of these vectors within an agent system. Across roughly 9,000 trajectories from six language model agents on software engineering tasks, our central finding is that cross-task and within-task consistency are distinct axes that can diverge: some systems are locally reproducible, behaving similarly on repeated attempts at one task, yet globally fragmented, with no stable strategy across different tasks, while others are consistent at both scales. Prior work measures only same-task reproducibility and so cannot observe this separation. We further find that consistency is not reducible to success rate, since systems with comparable success can differ sharply in consistency, and that the frontier-versus-open-source consistency gap persists under a within-task control that holds task difficulty constant. We position BCM as a process-level reliability signal that complements outcome metrics, and we are explicit about the conditions under which it is meaningful.
• Abstract（参考訳）: エージェント評価は、エージェントが成功するかどうかをキャプチャするが、それがどのように振る舞うかは、成功率のような結果の指標にほぼ完全に依存する。 我々は,タスク間の行動整合性は明瞭で測定可能な特性であり,その定量化のために行動整合度(BCM)を導入している。 BCMは、エージェント実行トレースの挙動特徴からタスク成功を予測するためのモデルを訓練し、軌道毎の特徴属性ベクトルを導出し、エージェントシステム内でこれらのベクトルのペア平均類似度を測定する。 ソフトウェアエンジニアリングタスクに関する6つの言語モデルエージェントから約9000のトラジェクトリにわたって、私たちの中心的な発見は、クロスタスクとイントラタスクの一貫性は、異なる軸である、ということです。 以前の作業は、同じタスクの再現性のみを測定するため、この分離を観察することはできない。 また,タスクの難易度を一定に保ちながら,フロンティアと逆ソースの整合性ギャップが持続するので,一貫性は成功率に対して再現できないことも確認した。 我々は,BCMを結果の指標を補完するプロセスレベルの信頼性信号として位置づける。

関連論文リスト

• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
  既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。 エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。 AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
  論文  参考訳（メタデータ） (2026-07-11T00:57:36Z)
• Coordination Matters: Evaluation of Cooperative Multi-Agent Reinforcement Learning [1.9806597528054068]
  プロセスレベルの診断でリターンを補うコーディネート・アウェア評価の視点を提案する。 制御されたコミットメント制約付き空間的タスク割り当てテストベッドSTATを用いて、この視点をインスタンス化する。 この結果から, 冗長配置の相違, 代入の多様性, タスク補完効率の相違など, 同様のリターン傾向が, 協調機構の相違を反映できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-07T16:50:53Z)
• On the Reliability of Computer Use Agents [47.20065484006984]
  コンピュータ利用エージェントの信頼性の低下の原因を3つの要因から検討する。 信頼性は、タスクの指定方法と、エージェントの動作が実行毎に変化する方法の両方に依存します。
  論文  参考訳（メタデータ） (2026-04-20T05:59:04Z)
• TRACE: Trajectory-Aware Comprehensive Evaluation for Deep Research Agents [51.30998248590416]
  Trajectory-Aware Comprehensive Evaluation (TRACE) は、問題解決の軌道全体を評価するフレームワークである。 私たちのコントリビューションには、TRACEフレームワーク、その新しいメトリクス、および制御可能な複雑さを伴うDeepResearch-Benchが含まれています。
  論文  参考訳（メタデータ） (2026-02-05T13:28:57Z)
• What Do LLM Agents Know About Their World? Task2Quiz: A Paradigm for Studying Environment Understanding [50.35012849818872]
  大規模言語モデル(LLM)エージェントは、複雑な意思決定やツール使用タスクにおいて顕著な能力を示した。 本研究では,タスク実行と世界状態理解の分離を目的とした決定論的かつ自動評価パラダイムであるTask-to-Quiz(T2Q)を提案する。 実験の結果,タスク成功は環境理解の指標として不十分な場合が多く,現在の記憶機構はエージェントが環境の基底モデルを取得するのに有効ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-14T14:09:11Z)
• Understanding Code Agent Behaviour: An Empirical Study of Success and Failure Trajectories [10.751728274263536]
  本稿では,エージェントのトラジェクトリ,すなわちソフトウェア問題の解決に際し,エージェントが行うステップを捉えた実行トレースについて,実証的研究を行う。 我々は、SWE-Benchベンチマークで、最先端の3つのコードエージェント(OpenHands、SWE-agent、Prometheus)の軌跡を分析し、成功と失敗の両方について検討した。
  論文  参考訳（メタデータ） (2025-10-31T18:58:13Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。