論文の概要: Agent Step Value: Probing the Observer Effect in Black-Box Traces

• arxiv url: http://arxiv.org/abs/2607.04419v2
• Date: Tue, 07 Jul 2026 17:26:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 14:37:43.239386
• Title: Agent Step Value: Probing the Observer Effect in Black-Box Traces
• Title（参考訳）: エージェントステップ値:ブラックボックストレースにおけるオブザーバ効果の探索
• Abstract要約: Agent Step Value (ASV) は、固定された候補セットに対してステートレスLLM評価器で状態の前/後の状態をスコアするリプレイフレームワークである。 ASVはエントロピー運動とベイジアン・サプライズ測度信念運動を報告し、オフライン金銀利得測度はレビュー対象に向けた動きを報告している。 また、変化した射影、合理性、プロンプト、スコアリングルールの下で同じ凍結遷移を再生することで、評価器チャネル感度を定量化する。
• 参考スコア（独自算出の注目度）: 2.4293637634506404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Final-answer scores hide which agent transitions helped or harmed a trace. We introduce Agent Step Value (ASV), a replay framework that scores before/after states with a stateless LLM evaluator over a fixed candidate set. ASV reports entropy movement and Bayesian surprise measure belief movement, while offline gold-margin gain measures movement toward a reviewed target. It also quantifies evaluator-channel sensitivity by replaying the same frozen transitions under changed projection, rationale, prompt, or scoring rules. In a 100-question open-QA study with live PubMed retrieval and DeepSeek log-probability scoring, ASV evaluates 1,100 transitions. Entropy movement is 0.000 while mean Bayesian surprise is 2.693, exposing near-one-hot belief pivots. Under a 128-token rationale-conditioned protocol, mean gold-margin gain is -2.335 (95\% CI [-3.395, -1.272]); direct one-token scoring on the same traces gives +4.033. A 100-transition component audit traces the reversal to short generated rationales over full states. ASV turns prompt sensitivity into a measured channel effect and localizes the largest rationale-conditioned losses to extraction and audit.
• Abstract（参考訳）: 最終回答スコアは、どのエージェント遷移がトレースを助けたり傷つけたかを隠す。 我々は、固定された候補セットに対してステートレスLLM評価器を用いて、前/後状態のスコアをスコアするリプレイフレームワークであるAgent Step Value (ASV)を紹介する。 ASVはエントロピー運動とベイジアン・サプライズ測度信念運動を報告し、オフライン金銀利得測度はレビュー対象に向けた動きを報告している。 また、変化した射影、合理性、プロンプト、スコアリングルールの下で同じ凍結遷移を再生することで、評価器チャネル感度を定量化する。 ライブPubMed検索とDeepSeekログ確率スコアを用いた100件のオープンQA調査で、ASVは1,100のトランジションを評価した。 エントロピー運動は0.000であり、ベイジアン・サプライズ(英語版)は2.693であり、ほぼ1ホットの信念の転換点を露呈する。 128tokenの有理条件付きプロトコルでは、金銀利得は-2.335(95\% CI [-3.395, -1.272])であり、同じトレース上で直接1tokenスコアは+4.033である。 100-transitionコンポーネント監査は、全状態に対する逆転から短い生成された有理数にトレースする。 ASVは、迅速な感度を測定されたチャネル効果に変換し、抽出と監査に最大の合理的条件付き損失をローカライズする。

関連論文リスト

• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• A Pre-Specified Construction-Confirmation Test of Operation-Level Causal Transfer Across Finite Isomorphic Symbolic Domains [0.0]
  2つの操作間の隠れ状態の違いが、ソース入力毎に別々に推定されているかどうかを問う。 この設計は、入力固有の介入を、不正操作、ノルムマッチングランダム、ノーオップ制御と比較し、個別に分離された確認分割から候補構築を分離する。
  論文  参考訳（メタデータ） (2026-08-16T15:37:26Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops [0.0]
  長期にわたる自律エージェントは、人間の介入なしに自らの完了を計画し、行動し、判断する。 エージェントが自身の仕事を格付けすると、自己評価バイアスが保たれます。 我々はエージェントとそのツール表面を固定したテストベッドを構築し、ループをゲートする評価器の情報チャネルタイプのみを操作する。
  論文  参考訳（メタデータ） (2026-07-27T23:52:15Z)
• ScratchWorld: Evaluating If World Models Compute Executable Consequences [2.3981743514438087]
  我々は、Scratchプロジェクトを実行可能な世界として扱うオフライン診断ベンチマークであるScratchWorldを紹介した。 ScratchWorldは、次の状態予測、ロングホライゾントラッキング、因果イベント属性、および反事実予測を評価する。
  論文  参考訳（メタデータ） (2026-06-30T14:02:25Z)
• Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets [0.12249546377051435]
  インダストリアル・コントロール・システムにおける侵入検知は、通常、バイナリ・ノーマル(バイナリ・ノーマル)とアタック(アタック)のラベルを用いて、少数の公開ベンチマークで評価される。 生の多変量プロセストレースを5つの解釈可能な物理プリミティブにマッピングする行動特徴化フレームワークを提案する。 攻撃ウィンドウは正常な動作に対して明らかな行動変化を示すのに対し,3つのデータセットは行動空間のほぼ異なる領域を占めることを示す。
  論文  参考訳（メタデータ） (2026-06-29T15:58:34Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Online Reward-Punishment Learning from Fixed-Channel Perceptual Event Streams without Environment Rewards [3.1050763275397806]
  OHIRLは4つの役割を分けている: M_psiは次のパケット予測、D_omegaモデルは残留力学、C_etaは固定された内部遷移後軌道である。 C_etaは、回復陽性、永続性/成長陰性残留制御方位を使用する。 条件誤差分解は、B_xiエビデンス推定誤差と残留ポリシー最適化誤差とを分離する。
  論文  参考訳（メタデータ） (2026-06-17T11:43:10Z)
• Multimodal Evaluator Preference Collapse: Cross-Modal Contagion in Self-Evolving Agents [1.0152838128195467]
  EPC(Evaluator Preference Collapse)はマルチモーダル環境で劇的に増幅されていることを示す。 次に、クロスモーダル感染と呼ばれる新しい現象を示す。 我々は、モデル間評価器アーキテクチャを優先ドリフトの主なリスク要因とみなす。
  論文  参考訳（メタデータ） (2026-06-15T13:18:20Z)
• StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
  強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。 この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。 PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。 本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:17:28Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories [61.51984029109709]
  グラフベースのフレームワークであるTraceGraphを紹介した。 各タスクに対して、TraceGraphは、モデルIDが導入される前に、プールされたロールアウトから観測可能なアクション・オブザーブレーション状態のグラフを構築する。 次に、結果インフォームされた生産的なコアとトラップリージョンをオーバーレイし、各ロールアウトを3つのイベント – アクセス、トラップ露出、修復 – で要約する。
  論文  参考訳（メタデータ） (2026-05-29T13:40:31Z)
• ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation [0.0]
  本稿では,プランナー指向実行,特殊なツール使用,テレメトリ駆動評価を中心に構築されたツール拡張型自律推論フレームワークを提案する。 クリーンな評価制約の下でGAIA 2023 Level-1バリデーションタスクのクロマフローを解析する。
  論文  参考訳（メタデータ） (2026-05-13T20:40:37Z)
• Beyond Completion: Probing Cumulative State Tracking to Predict LLM Agent Performance [9.771590610969918]
  WMF-AM(Working Memory Fidelity-Active Manipulation)を紹介する。 その結果,20種類のオープンウェイトモデル (0.5B-35B, 13ファミリー) で10タスク・エージェント・バッテリを発売した。
  論文  参考訳（メタデータ） (2026-03-28T17:25:11Z)
• TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
  コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。 本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。 我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
  論文  参考訳（メタデータ） (2026-03-25T05:27:03Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
  大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。 ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
  論文  参考訳（メタデータ） (2025-11-24T22:50:50Z)
• Rethinking Metrics and Benchmarks of Video Anomaly Detection [58.37571339811799]
  ビデオ異常検出(VAD)は、期待から外れた異常を検出することを目的としている。 既存のVADメトリクスは、単一のアノテーションバイアスの影響を受けます。 既存のベンチマークには、完全に/弱い教師付きアルゴリズムのシーンオーバーフィットを評価する能力がない。
  論文  参考訳（メタデータ） (2025-05-25T08:09:42Z)
• Constructing interval variables via faceted Rasch measurement and multitask deep learning: a hate speech application [63.10266319378212]
  本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。 われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
  論文  参考訳（メタデータ） (2020-09-22T02:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。