論文の概要: What Can a Leaderboard Certify? Compositional Controllability for Fair Evaluation and Training of Biomedical Literature-Review Agents

• arxiv url: http://arxiv.org/abs/2609.32318v1
• Date: Sat, 26 Sep 2026 07:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:48:47.060096
• Title: What Can a Leaderboard Certify? Compositional Controllability for Fair Evaluation and Training of Biomedical Literature-Review Agents
• Title（参考訳）: リーダが認定できるものは何か? バイオメディカル文献の公正な評価と訓練のための構成制御-レビューエージェント
• Abstract要約: リーダーボードは、最終的なアウトプットでロングホライズンエージェントをランク付けする。しかし、高いスコアだけでは、2つのシステムが同等であるか、どのステージが違いの原因であるかは定かではない。 これらの問題に対処するために,構成制御性を導入する。 比較窓は1つのステージ、複数のステージ、またはエージェント全体をカバーしており、我々の中心的な結果は、窓の外のみのニュアンスを用いて観測されたスコアと制御されたスコアの差を限定している。
• 参考スコア（独自算出の注目度）: 9.908466886405655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leaderboards rank long-horizon agents by their final outputs. Yet a higher score alone does not establish whether two systems are comparable or which stage accounts for the difference. Unequal evidence, inputs, or budgets can affect scores, and statistical corrections do not remove this mismatch. We introduce compositional controllability to address these questions. A comparison window covers one stage, several stages, or the whole agent. Our central result bounds the gap between observed and controlled score differences using only nuisance outside the window. This yields an admissibility test applied before scores are inspected. Inadmissible comparisons are refused. For admissible pairs, an ordering is certified only when the score gap exceeds the combined sampling and nuisance radii; otherwise, it remains undecided. These decisions give each system a rank interval. We introduce BioLitBench, a benchmark of 2,042 biomedical articles represented as structured claim graphs. Among seven published pipelines, a conventional statistical analysis declares a winner in 14 of 21 pairwise comparisons. Yet the top-ranked system alone received the target review's bibliography. To isolate pipeline performance, our test requires matched inputs and a fixed backbone model. It refuses 11 of the 21 comparisons, including every comparison involving the top-ranked system. Seven of the 14 conventional conclusions fall within these refused pairs. The same comparison windows support stage-level training. We train SCRIBE on Qwen3.8-27B using rewards measured at each stage's exit. Under matched evidence, SCRIBE achieves a certified rank interval of [1,2], with certified advantages over all evaluated published pipelines and the evaluated Claude and OpenAI agents. Under same pool, SCRIBE matches the strongest published retriever and is certified above three published pipelines.
• Abstract（参考訳）: リーダーは最終出力でロングホライズンエージェントをランク付けします。 しかし、より高いスコアだけでは、2つのシステムが同等なのか、どのステージが違いの原因なのかを定めていない。 不平等な証拠、入力、予算はスコアに影響しうるが、統計的修正ではこのミスマッチを除去しない。 これらの問題に対処するために,構成制御性を導入する。 比較ウィンドウは、1つのステージ、複数のステージ、またはエージェント全体をカバーする。 我々の中心的な結果は、窓の外のニュアンスのみを用いて観察されたスコア差と制御されたスコア差のギャップを埋める。 これにより、スコアが検査される前に適用される許容テストが得られる。 許容できない比較は拒否される。 許容可能なペアについては、スコアギャップがサンプリングラジイとニュアンスラジイの合計を超える場合にのみ順序が認証されるが、そうでなければ決定されない。 これらの決定は、各システムにランク間隔を与える。 構造化クレームグラフとして表される2,042のバイオメディカル記事のベンチマークであるBioLitBenchを紹介する。 7つの公表されたパイプラインのうち、従来の統計分析では、21のペア比較のうち14の勝者を宣言している。 しかし、上位のシステムだけでは、ターゲットレビューの書誌を受け取った。 パイプライン性能を分離するためには、一致した入力と固定されたバックボーンモデルが必要である。 トップランクシステムを含むすべての比較を含め、21の比較のうち11を拒否する。 従来の14の結論のうち7つは、これらの拒絶されたペアに該当する。 同じ比較ウィンドウはステージレベルのトレーニングをサポートする。 各ステージの出口で測定された報酬を用いてQwen3.8-27BでSCRIBEを訓練する。 一致したエビデンスの下で、SCRIBEは[1,2]の認定されたランク間隔を達成し、評価されたすべての公開パイプラインと評価されたClaudeおよびOpenAIエージェントに対して、認証されたアドバンテージを持つ。 同じプールの下では、SCRIBEは最も強力な公開レトリバーと一致し、3つの公開パイプラインの上に認定されている。

関連論文リスト

• Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
  本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。 ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
  論文  参考訳（メタデータ） (2026-09-21T09:15:02Z)
• Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
  コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。 モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。 パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
  論文  参考訳（メタデータ） (2026-09-15T16:29:12Z)
• What Does an LLM-Agent Leaderboard Rank Actually Compare? [0.0]
  LLMエージェントのリーダーボードは、よく知られた推論を招待する。 我々は、リーダーボードがどのスコアを見積もるか、どのようにペアワイズ優位性の結論を正当化するかを調査する。
  論文  参考訳（メタデータ） (2026-09-07T17:31:22Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Bias Audits Detect Bias but Disagree on Ranking: Evidence from Ten Instruments and Ten Frontier Models [2.422857892314494]
  10のフロンティアモデルの共通パネル上で10の監査楽器を実行します。 10のツールのうち8つは、信頼区間がゼロであるバイアスを検出する。 クロスツールのランク契約は偶然と区別できない。
  論文  参考訳（メタデータ） (2026-07-09T15:38:31Z)
• Auditing Empirical Comparisons in Quantum Software [2.384717245145118]
  実証的な量子ソフトウェア論文では、あるコンパイラ、バックエンド、あるいはアザッツが別のコンパイラよりも優れていると報告されることが多い。 既存のテスト、ベンチマーク、メソッドは、プログラム、ツール、実行、プラットフォームを評価するのに役立つ。 CLAIMSTAB-QCは、量子ソフトウェアにおける経験的比較を監査するための、ソースバウンドなフレームワークである。
  論文  参考訳（メタデータ） (2026-07-01T07:02:46Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• Silicon Bureaucracy and AI Test-Oriented Education: Contamination Sensitivity and Score Confidence in LLM Benchmarks [43.45152572188735]
  本稿では,言語モデルにおける汚染感度とスコア信頼度を解析するための監査フレームワークを提案する。 ノイズ条件下では, 広範に不均一なベースラインゲインが得られる。 これらの結果は、類似のベンチマークスコアが、かなり異なる信頼レベルを持つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-03-23T07:03:07Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。