論文の概要: Agent Step Value: Auditing Evaluator-Channel Reversals in Black-Box Agent Traces
- arxiv url: http://arxiv.org/abs/2607.04419v3
- Date: Mon, 13 Jul 2026 16:54:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.253583
- Title: Agent Step Value: Auditing Evaluator-Channel Reversals in Black-Box Agent Traces
- Title（参考訳）: エージェントステップ値:ブラックボックスエージェントトレースにおける評価器チャネル逆転の検証
- Abstract要約: 評価器由来のステップ報酬がスコアリングチャネル間でプールされたり比較されたりした場合、それらのサインは輸送可能なものとして扱われる。
エージェントステップ値(ASV)をチャネルインデクシングされたターゲットマージンゲインとして定義し、チャネル間相互作用の欠如を識別する。
- 参考スコア（独自算出の注目度）: 2.4293637634506404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When evaluator-derived step rewards are pooled or compared across scoring channels, their sign is treated as transportable. Yet the same frozen transition can change sign with the scoring channel. Process rewards vary agent states, while evaluator audits vary scoring configurations; neither first difference isolates their interaction. We define Agent Step Value (ASV) as channel-indexed target-margin gain and identify the missing state-by-channel interaction by replaying complete faces. Of 1,100 PubMed open question-answering transitions, 1,004 were complete across four cyclic layouts. Their mean update is positive under direct scoring (+0.163 [0.102, 0.218]) and negative with an externally generated view (-0.160 [-0.244, -0.079]), giving an interaction of -0.323 [-0.418, -0.232]. Across paired transitions, 507/1,004 cross zero in one direction or the other. Matched templates isolate a generated-minus-quote interaction of -1.121 [-1.534, -0.703]. Its direction remains negative after the readout and evaluator-stack changes, and quote yields a higher paired area under the receiver operating characteristic curve (AUC) for stored success at all three bridge vertices. Because the two views preserve the same task information conditional on the retained state, a representation-invariance null predicts equal responses and success rankings across them. ASV provides a transport audit for evaluator-derived step measurements; causal actor credit lies outside its estimand.
- Abstract（参考訳）: 評価器由来のステップ報酬がスコアリングチャネル間でプールされたり比較されたりした場合、それらのサインは輸送可能なものとして扱われる。
しかし、同じ凍結した遷移はスコアリングチャネルで符号を変更することができる。
プロセスの報酬はエージェントの状態によって異なるが、評価器の監査はスコアリングの構成によって異なる。
エージェントステップ値(ASV)をチャネルインデクシングされたターゲットマージンゲインとして定義し、完全な顔の再生によってチャネル間相互作用の欠如を識別する。
PubMedのオープンな質問応答トランジションのうち、1,004は4つの周期的なレイアウトで完了した。
彼らの平均更新値は、直接スコア(+0.163[0.102, 0.218])で正であり、外部に生成されたビュー(-0.160[-0.244, -0.079])と負であり、-0.323[-0.418, -0.232]の相互作用を与える。
ペア遷移を横切ると、507/1,004は一方の方向にゼロを横切る。
マッチングテンプレートは、-1.121[-1.534, -0.703]の生成された最小クォート相互作用を分離する。
読み出しと評価器スタックが変化した後もその方向は否定的であり、引用文は3つの橋の頂点に格納された成功のために受信器操作特性曲線(AUC)の下でより高いペア領域を出力する。
2つのビューは保持状態に条件付きで同じタスク情報を保持するため、表現不変なnullは、それら全体で同じ応答と成功ランキングを予測する。
ASVは評価者由来のステップ測定のためのトランスポート監査を提供する。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - A Pre-Specified Construction-Confirmation Test of Operation-Level Causal Transfer Across Finite Isomorphic Symbolic Domains [0.0]
2つの操作間の隠れ状態の違いが、ソース入力毎に別々に推定されているかどうかを問う。
この設計は、入力固有の介入を、不正操作、ノルムマッチングランダム、ノーオップ制御と比較し、個別に分離された確認分割から候補構築を分離する。
論文 参考訳（メタデータ） (2026-08-16T15:37:26Z) - Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。
一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
論文 参考訳（メタデータ） (2026-07-30T16:41:40Z) - When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops [0.0]
長期にわたる自律エージェントは、人間の介入なしに自らの完了を計画し、行動し、判断する。
エージェントが自身の仕事を格付けすると、自己評価バイアスが保たれます。
我々はエージェントとそのツール表面を固定したテストベッドを構築し、ループをゲートする評価器の情報チャネルタイプのみを操作する。
論文 参考訳（メタデータ） (2026-07-27T23:52:15Z) - ScratchWorld: Evaluating If World Models Compute Executable Consequences [2.3981743514438087]
我々は、Scratchプロジェクトを実行可能な世界として扱うオフライン診断ベンチマークであるScratchWorldを紹介した。
ScratchWorldは、次の状態予測、ロングホライゾントラッキング、因果イベント属性、および反事実予測を評価する。
論文 参考訳（メタデータ） (2026-06-30T14:02:25Z) - Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets [0.12249546377051435]
インダストリアル・コントロール・システムにおける侵入検知は、通常、バイナリ・ノーマル(バイナリ・ノーマル)とアタック(アタック)のラベルを用いて、少数の公開ベンチマークで評価される。
生の多変量プロセストレースを5つの解釈可能な物理プリミティブにマッピングする行動特徴化フレームワークを提案する。
攻撃ウィンドウは正常な動作に対して明らかな行動変化を示すのに対し,3つのデータセットは行動空間のほぼ異なる領域を占めることを示す。
論文 参考訳（メタデータ） (2026-06-29T15:58:34Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Online Reward-Punishment Learning from Fixed-Channel Perceptual Event Streams without Environment Rewards [3.1050763275397806]
OHIRLは4つの役割を分けている: M_psiは次のパケット予測、D_omegaモデルは残留力学、C_etaは固定された内部遷移後軌道である。
C_etaは、回復陽性、永続性/成長陰性残留制御方位を使用する。
条件誤差分解は、B_xiエビデンス推定誤差と残留ポリシー最適化誤差とを分離する。
論文 参考訳（メタデータ） (2026-06-17T11:43:10Z) - Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents [1.0152838128195467]
EPC(Evaluator Preference Collapse)はマルチモーダル環境で劇的に増幅されていることを示す。
次に、クロスモーダル感染と呼ばれる新しい現象を示す。
我々は、モデル間評価器アーキテクチャを優先ドリフトの主なリスク要因とみなす。
論文 参考訳（メタデータ） (2026-06-15T13:18:20Z) - StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。
この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。
PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。
本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
論文 参考訳（メタデータ） (2026-06-05T08:17:28Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories [61.51984029109709]
グラフベースのフレームワークであるTraceGraphを紹介した。
各タスクに対して、TraceGraphは、モデルIDが導入される前に、プールされたロールアウトから観測可能なアクション・オブザーブレーション状態のグラフを構築する。
次に、結果インフォームされた生産的なコアとトラップリージョンをオーバーレイし、各ロールアウトを3つのイベント – アクセス、トラップ露出、修復 – で要約する。
論文 参考訳（メタデータ） (2026-05-29T13:40:31Z) - ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation [0.0]
本稿では,プランナー指向実行,特殊なツール使用,テレメトリ駆動評価を中心に構築されたツール拡張型自律推論フレームワークを提案する。
クリーンな評価制約の下でGAIA 2023 Level-1バリデーションタスクのクロマフローを解析する。
論文 参考訳（メタデータ） (2026-05-13T20:40:37Z) - Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。
その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
論文 参考訳（メタデータ） (2026-03-28T17:25:11Z) - TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。
本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。
我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
論文 参考訳（メタデータ） (2026-03-25T05:27:03Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。
ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
論文 参考訳（メタデータ） (2025-11-24T22:50:50Z) - Rethinking Metrics and Benchmarks of Video Anomaly Detection [58.37571339811799]
ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。
既存のVADメトリクスは、単一のアノテーションバイアスの影響を受けます。
既存のベンチマークには、完全に/弱い教師付きアルゴリズムのシーンオーバーフィットを評価する能力がない。
論文 参考訳（メタデータ） (2025-05-25T08:09:42Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳（メタデータ） (2020-09-22T02:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。