論文の概要: Open-Endedness Bench: Measuring Epistemic Process from Agent Records

• arxiv url: http://arxiv.org/abs/2610.02588v1
• Date: Thu, 01 Oct 2026 23:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.124372
• Title: Open-Endedness Bench: Measuring Epistemic Process from Agent Records
• Title（参考訳）: Open-Endedness Bench: エージェント記録からのてんかん過程の測定
• Abstract要約: OEBはベンチマークに依存しない方法論であり、エージェントの実行レコードのみを読み、結果スコアを決して読み出さない。 3つのベンチマークから12タスク以上を実行しています。 10のタスクのうち9つで、ベストランは、最悪の実行よりも後半で新しいアイデアを試す。
• 参考スコア（独自算出の注目度）: 16.669358445244438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents are increasingly given open-ended research tasks: discovering an empirical law from self-designed experiments, improving a heuristic whose optimum nobody knows, or beating a standing record. Their execution logs record every step of this research, yet the runs are still judged by their outcome score. That score alone does not establish whether an agent's claims follow from executed experiments, and a reference answer may be unavailable. We evaluate the agent's epistemic process: how it forms hypotheses, tests them, and revises them in response to evidence. We introduce OEB (Open-Endedness Bench), a benchmark-agnostic methodology that reads only the agent's execution record and never a reference answer or an outcome score. OEB compiles the record into a unified epistemic event graph whose edges connect the propositions the agent states to the executed actions that test them; each node carries an exact excerpt that code verifies against the record. One principle governs scoring: prose can state a proposition, but only evidence returned by an executed action can support or refute it, so OEB checks what the agent writes against what it actually ran. From the graph, OEB scores four competence axes (evidence, experiment, revision, and no reward hacking), mostly as the share of opportunities for sound research that the agent took, and profiles six subjective persona traits that describe the agent's research habits. We score 119 existing runs over 12 tasks from three benchmarks: LLM post-training, chip design, and a training-speed record. Against logged results, only 16-29% of the improvements agents claim are real. On 9 of 10 tasks, the best run tries more new ideas in its second half than the worst run. The persona readings follow the model: for every trait, the model that ran explains more of its variance across runs than the task (a median of 43% against 7%).
• Abstract（参考訳）: エージェントは、自己設計実験から経験則を発見すること、最適な誰も知らないヒューリスティックを改善すること、スタンディングレコードを打つことなど、オープンな研究課題がますます与えられている。 彼らの実行ログは、この研究のすべてのステップを記録していますが、実行結果は結果スコアによって判断されます。 このスコアだけでは、エージェントの主張が実行された実験から従うかどうかを定めておらず、参照された回答は利用できないかもしれない。 エージェントの疫学過程を評価する:仮説をどう形成し、それらをテストし、証拠に反応して修正する。 OEB(Open-Endedness Bench)は,エージェントの実行レコードのみを読み取るベンチマーク非依存の手法で,参照応答や結果スコアは表示されない。 OEBは、レコードを統合された疫学的イベントグラフにコンパイルし、そのエッジは、エージェントが宣言する命題と、それらをテストする実行されたアクションを結びつける。 散文は命題を記述できるが、実行されたアクションによって返される証拠だけがそれをサポートまたは反証できるため、OEBはエージェントが実際に実行したものに対して何を書いているかをチェックする。 このグラフから、EBは4つの能力軸(証拠、実験、リビジョン、報酬のハッキングなし)を、主にエージェントが取った音響研究の機会を共有し、エージェントの研究習慣を記述した6つの主観的なペルソナ特性をプロファイルする。 LLMポストトレーニング、チップ設計、トレーニング速度記録の3つのベンチマークから、既存の12タスク以上をスコア付けします。 ログされた結果に対して、改善エージェントの主張する真偽は16～29%に過ぎなかった。 10のタスクのうち9つで、ベストランは、最悪の実行よりも後半で新しいアイデアを試す。 ペルソナの読みはモデルに従います。すべての特性に対して、実行中のモデルはそのタスクよりも実行中の分散についてより説明します(中央値の43%対7%)。

関連論文リスト

• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution [0.0]
  大規模言語モデルエージェントはアクションの提案と実行を行うことができるが、提案、権限、ディスパッチ、検証された外部効果、プロモーションは異なるクレームである。 本稿では,これらの状態を明確に表現するエージェントハーネスであるPraxaについて,決定論的容認,ブローカー実行,外部読み取り,和解,再検討を通じて紹介する。
  論文  参考訳（メタデータ） (2026-07-27T05:57:10Z)
• Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution [1.733151600403503]
  大規模言語モデル(LLM)エージェントは、ますます多段階のエンジニアリングと情報処理を自動化する。 彼らはしばしば、最大コンテキストファーストの戦略に従い、ファイルや依存関係を読み取り、一行の編集を小さなコードベースの監査に切り替える。 タスク対応型実行-スコープ推定の欠如を論じる。
  論文  参考訳（メタデータ） (2026-07-14T17:59:31Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
  インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。 これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。 既存のベンチマークに対して、結果エビデンスレポート層を導入します。
  論文  参考訳（メタデータ） (2026-05-11T12:20:15Z)
• Oracle Poisoning: Corrupting Knowledge Graphs to Weaponise AI Agent Reasoning [0.9236074230806578]
  Oracle Poisoningは、相手が構造化知識グラフを破損させる攻撃クラスである。 プロンプトインジェクションとは異なり、Oracle Poisoningはデータエージェントを操作します。 プロダクション4200万ノードのコード知識グラフに対する6つの攻撃シナリオを実演する。
  論文  参考訳（メタデータ） (2026-05-10T23:55:13Z)
• E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing [7.984665398116918]
  ブラックボックス検証器のスコアを偽アラームレートの証明可能な制御で決定ルールに変換する方法であるe-valuatorを導入する。 評価者は、エージェントの軌道のすべてのステップで統計的に有効であるシーケンシャルな仮説テストを開発するために、プロセスからのツールに基づいて構築される。 E-valuatorは6つのデータセットと3つのエージェントをまたいだ他の戦略よりも高い統計的パワーとより良い誤報率制御を提供することを示す。
  論文  参考訳（メタデータ） (2025-12-02T05:59:18Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
  我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。 ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。 また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
  論文  参考訳（メタデータ） (2025-04-11T19:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。