論文の概要: AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2610.20675v1
• Date: Wed, 14 Oct 2026 14:04:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.977108
• Title: AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks
• Title（参考訳）: AlphaDiana:検証可能な推論タスクにおけるエージェント計測システム
• Abstract要約: 我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
• 参考スコア（独自算出の注目度）: 70.52860945958031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agents pair reasoning models with harnesses that organize model calls, execute tools, load skill instructions, and retain history in memory. Understanding agent performance requires linking execution conditions to outcomes, behavior, and resource use. We introduce AlphaDiana, a measurement system with modular interfaces for datasets, agents, environments, and scorers. It preserves harness-native control loops while controlling file reuse and memory retention separately. AlphaDiana supports macro analyses of complete agents and micro interventions on agent components such as tools, skills, and memory under matched conditions. We study three open-source models and three open-source harnesses on five answer-based benchmarks, with two models also tested on two interactive benchmarks. We find that harnesses do not consistently improve the accuracy of reasoning: gains on questions unsolved by the model alone can be outweighed by losses on questions it answers correctly without tools. This inconsistency extends to component interventions: neither skill guidance nor retained history reliably improves accuracy. Behavior and output-token use must be assessed with correctness: low token entropy can accompany wrong answers, and less output per execution can mean more output tokens per correct answer when accuracy falls. AlphaDiana links answer correctness and execution status to traces and resource records for comparing agents and diagnosing failures under shared task and resource policies.
• Abstract（参考訳）: エージェントはモデル呼び出しを整理し、ツールを実行し、スキル命令をロードし、メモリの履歴を保持するハーネスで推論モデルをペアリングする。 エージェントのパフォーマンスを理解するには、実行条件と結果、振る舞い、リソース使用をリンクする必要がある。 我々は、データセット、エージェント、環境、スコアラーのためのモジュールインタフェースを備えた計測システムであるAlphaDianaを紹介する。 ファイルの再利用とメモリ保持を別々に制御しながら、ハーネスネイティブな制御ループを保存する。 AlphaDianaは、完全なエージェントのマクロ分析と、マッチした条件下でのツール、スキル、メモリなどのエージェントコンポーネントへのマイクロ介入をサポートする。 我々は5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスを調査し、2つのインタラクティブベンチマークで2つのモデルもテストした。 モデルだけでは解けない質問の得は、ツールを使わずに正解する質問の損失によって上回ることができる。 この矛盾はコンポーネントの介入にまで広がり、スキルガイダンスも履歴の保持も正確さを確実に向上させる。 低いトークンエントロピーは間違った回答に付随し、実行当たりのアウトプットが少なくなると、正確さが落ちると正解当たりのアウトプットトークンが増えます。 AlphaDianaは、共有タスクとリソースポリシの下でエージェントを比較し、障害を診断するために、応答の正しさと実行ステータスをトレースとリソースレコードにリンクする。

関連論文リスト

• Who Is Behind the Harness? Fingerprinting LLMs through Agentic Behavior [8.146941441861614]
  我々は,コーディングエージェント実行のためのアクティブブラックボックスフィンガープリント手法であるLIDARを提案する。 3つのプローブペアは、制御された変更の下で、後続検証、過渡障害回復、および仕様-テスト競合解決を公開する。 高いTop-1精度とMRRを実現し、4つの既存の指紋認証とAPI監査ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-23T09:12:46Z)
• Verify Smarter, Evolve Further: Efficient Harness Evolution through Behavior-Aware Verification [30.941867057615223]
  既存の提案と検証のメソッドは、固定されたタスクセットですべての候補をスコアします。 私たちは、自動化ハーネス進化のための予算対応フレームワークであるHarnessLensを紹介します。
  論文  参考訳（メタデータ） (2026-08-27T16:12:23Z)
• BekchiAI: Measuring, Observing, and Controlling LLM Agents in One Click [0.0]
  本稿では,エージェントスキル測定のためのベンチマークであるBekchiAIと,ライブエージェントの監視と制御のためのプラットフォームについて紹介する。 BekchiAI-Platformは、デプロイされたエージェントのための補完的なWebベースの可観測性とコントロールレイヤであり、完全なトークンとテレメトリとリモート実行終了を提供する。
  論文  参考訳（メタデータ） (2026-08-27T09:30:08Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
  ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。 このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。 現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
  論文  参考訳（メタデータ） (2026-08-03T15:07:46Z)
• A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering [2.1096366377985185]
  Agentic Video Questioning (VideoQA) システムは推論中にツールを呼び出すが、ツールライブラリは修正されている。 本稿では,ツール拡張ビデオエージェントの監査のための費用対プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-01T21:01:57Z)
• ET-Agent: Incentivizing Effective Tool-Integrated Reasoning Agent via Behavior Calibration [68.89572566071575]
  ETAgentはエージェントのツール使用行動を調整するためのトレーニングフレームワークである。 過誤行動パターンを最適行動に段階的に校正するように設計されている。
  論文  参考訳（メタデータ） (2026-01-11T11:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。