論文の概要: Oracle Gap and Signal Fidelity: A Fixed-Pool Diagnostic for Test-Time Collaboration
- arxiv url: http://arxiv.org/abs/2607.17531v1
- Date: Mon, 20 Jul 2026 04:09:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.496264
- Title: Oracle Gap and Signal Fidelity: A Fixed-Pool Diagnostic for Test-Time Collaboration
- Title（参考訳）: Oracle GapとSignal Fidelity: テスト時間コラボレーションのための固定プール診断
- Abstract要約: テストタイムのコラボレーションはLLM推論の改善と評価されることが多いが、その利益は不均一であり、時にはネガティブである。
固定候補プールに対しては、セレクタまたは検証器のネットゲインを測定可能な要素に分解する。
このことは、マルチエージェントトポロジーの本質的な性質としてではなく、候補選択問題として協調を再構築する。
- 参考スコア（独自算出の注目度）: 8.515185888009833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time collaboration, including self-consistency, best-of-N selection, critic models, and verifier pipelines, is often credited with broadly improving LLM reasoning, yet its gains are uneven and sometimes negative. We ask when training-free collaboration should be expected to help. For a fixed candidate pool, we decompose a selector or verifier's net gain into measurable factors: recoverable mass, verification-signal coverage, conditional selection quality, and harm to already-correct outputs. This reframes collaboration as a candidate-selection problem rather than as an intrinsic property of a multi-agent topology. Across LiveCodeBench, MATH Level-5 hard subjects, and GPQA-Diamond, gains are bounded first by the oracle gap and then by signal fidelity, which we measure directly as candidate-level agreement between verifier verdicts and official labels. On LiveCodeBench, a public-test verifier (MCC 0.825) gains +8.14 percentage points (pp) over a first-sample baseline; a generated-test verifier (MCC 0.248) improves by +2.70pp and is not statistically distinguishable from an LLM selector, but operates at near-zero harm versus the selector's 4.69% harm rate. On MATH, a symbolic answer-equivalence selector beats self-consistency by +4.67pp, while LLM selectors are negative. On GPQA-Diamond, recoverable mass is only 3.03% and 87.54% of candidate pools are answer-identical; a weaker model's pools shrink both further, suggesting that oracle gap is a joint property of task, model, and sampling configuration. Our framework yields a practical pre-deployment diagnostic: estimate the oracle gap, then measure coverage, signal fidelity, and harm before investing in collaboration.
- Abstract（参考訳）: 自己整合性、ベスト・オブ・Nの選択、批評家モデル、検証パイプラインを含むテストタイムのコラボレーションは、LLM推論を広く改善したと評価されることが多いが、その利得は不均一であり、時には否定的である。
トレーニングなしのコラボレーションがいつ役に立つか、私たちは尋ねる。
固定された候補プールに対して、セレクタまたは検証者の純利得を、回復可能な質量、検証信号のカバレッジ、条件付き選択品質、既に正しい出力に対する害という測定可能な要素に分解する。
このことは、マルチエージェントトポロジーの本質的な性質としてではなく、候補選択問題として協調を再構築する。
LiveCodeBench, MATH Level-5 hard subjects, and GPQA-Diamond の利得は、まずオラクルギャップと信号の忠実度によって境界付けられ、検証結果と公式ラベルの候補レベル合意として直接測定する。
LiveCodeBenchでは、公開テスト検証器(MCC 0.825)は、最初のサンプルベースラインで+8.14ポイント(pp)を獲得し、生成テスト検証器(MCC 0.248)は+2.70ppに改善され、LSMセレクタと統計的に区別できないが、セレクタの4.69%とほぼゼロのハーネスで動作している。
MATHでは、記号的な応答等価セレクタが+4.67ppで自己整合性を打ち負かし、LSMセレクタは負である。
GPQA-ダイアモンドでは、復元可能な質量は3.03%であり、候補プールの87.54%は答えの正当性であり、弱いモデルのプールはさらに小さくなり、オラクルギャップがタスク、モデル、サンプリング構成のジョイント特性であることを示唆している。
我々のフレームワークは、オラクルギャップを見積もって、カバレッジを計測し、コラボに投資する前にシグナルの忠実さと損害を計測する、実践的なデプロイ前診断を生み出します。
関連論文リスト
- Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning [3.8191765711200065]
本稿では,テスト時間計算を用いて候補解の探索と改良を行う検証自由幅改良フレームワークを提案する。
提案手法は, 難解な復号化, 多数決投票, 検証器ベースのベスト・オブ・N$, ビームサーチ, および複数のオープンウェイトモデル間でのルック・復号化を一貫して改善する。
論文 参考訳（メタデータ） (2026-08-06T06:38:37Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - OpenDeepThink: Parallel Reasoning via Bradley-Terry Aggregation [53.88666485159289]
OpenDeepThinkは、集団ベースのテスト時間計算フレームワークで、ペアワイズBradley-Terryの比較によって選択する。
OpenDeepThinkはGemini 3.1 ProのCodeforces Eloを8回のLCMコールラウンドで+405ポイント引き上げる。
CF-73は、国際グランドマスターアノテーションによる73の専門家評価コードフォース問題と、公式判決に対する99%の地域評価合意のキュレートされたセットである。
論文 参考訳（メタデータ） (2026-05-14T17:57:40Z) - Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。
この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
論文 参考訳（メタデータ） (2025-10-30T12:20:25Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs [6.862079218077768]
特定のタスクで大規模言語モデルをテストするのは難しくてコストがかかります。
重要な課題は、タスクの要求を反映した方法で入力精度を評価することである。
タスク固有のプレジェネレーションアプライバシ尺度であるCLOTHOを導入する。
論文 参考訳（メタデータ） (2025-09-22T02:34:09Z) - Shrinking the Generation-Verification Gap with Weak Verifiers [42.538675831498715]
検証者は、生成された候補から応答をスコア付けしてランク付けすることで、言語モデル機能を改善することができる。
Weaverは、複数の弱い不完全な検証器を組み合わせることで、強力な検証器を設計するためのフレームワークである。
論文 参考訳（メタデータ） (2025-06-22T23:38:15Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳（メタデータ） (2025-03-12T15:46:12Z) - MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。
このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。
GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
論文 参考訳（メタデータ） (2024-12-19T18:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。