論文の概要: Oracle Gaps in Reliability Coverage: Sampling Noise or Policy Specialization?

• arxiv url: http://arxiv.org/abs/2609.32996v1
• Date: Sat, 26 Sep 2026 22:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:24:57.173188
• Title: Oracle Gaps in Reliability Coverage: Sampling Noise or Policy Specialization?
• Title（参考訳）: Oracleの信頼性カバレッジのギャップ - ノイズのサンプリングか,あるいはポリシのスペシャライゼーションか?
• Abstract要約: 同じベースモデルからトレーニングされたポリシーは、さまざまな問題を解決するように見える。 最大の推定成功率を選択することも、好適なサンプリングエラーを選択する。 本研究では,この影響を,成功確率が選択しきい値に達する問題の割合である信頼性カバレッジを通じて検討する。
• 参考スコア（独自算出の注目度）: 0.764671395172401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policies trained from the same base model can appear to solve different problems. An oracle that chooses the best policy for each problem may therefore appear much stronger than any single policy. Selecting the largest estimated success rate also selects favorable sampling errors. We study this effect through reliability coverage, the fraction of problems whose success probability reaches a chosen threshold. Our first test redistributes stored correctness outcomes across policies within each problem. A second also preserves each policy's total successes, accounting for overall quality differences under a specified statistical model. For five training seeds of a seven-billion-parameter vision-language model, redistribution reproduces 0.096 of an estimated 0.113 oracle gap at threshold 0.10. Neither test finds significant evidence at this threshold. Small advantages remain unresolved. Mixtures, routers, voting, and weight averaging show no detectable improvement over their corresponding single-policy baselines. Training policies on different datasets shows little detectable specialization under light post-training, and no router gain. A stronger recipe does create it, both tests detect it, and a router gain appears only at the high thresholds where the specialists separate. In a control with predictable specialization, a router recovers about half the oracle gap. Coverage bounds explain why even a genuine oracle advantage need not yield a deployment gain. The tests assess apparent specialization from stored responses before investment in routing. Code: https://github.com/KurbanIntelligenceLab/oracle-gaps
• Abstract（参考訳）: 同じベースモデルからトレーニングされたポリシーは、さまざまな問題を解決するように見える。 したがって、各問題に最適なポリシーを選択する神託は、どの単一のポリシーよりもずっと強く見えるかもしれない。 最大の推定成功率を選択することも、好適なサンプリングエラーを選択する。 本研究では,この影響を,成功確率が選択しきい値に達する問題の割合である信頼性カバレッジを通じて検討する。 最初のテストでは、各問題内のポリシー間で保存された正確性の結果を再分配しました。 また、各政策の総成功を保存し、特定の統計モデルの下での全体的な品質差を考慮に入れている。 7ビリオン・パラメーター・ビジョン言語モデルの5つの訓練種子に対して、再分配は0.113オラクルギャップの0.096をしきい値0.10で再現する。 どちらの試験も、このしきい値に重要な証拠は見つからない。 小さな利点は未解決のままである。 混合器、ルータ、投票、およびウェイト平均化は、対応する単一政治基準よりも検出可能な改善を示さない。 異なるデータセットに対するトレーニングポリシは、軽い後トレーニングの下で検出可能な特殊化がほとんどなく、ルータのゲインがないことを示している。 より強力なレシピが作り出され、両方のテストが検出され、ルーターゲインは専門家が分離する高いしきい値にのみ現れる。 予測可能な特殊化による制御では、ルータが約半分のオラクルギャップを回復する。 カバレッジバウンダリは、本物のオラクルのアドバンテージでさえ、デプロイメントの利益を得る必要がない理由を説明する。 試験は、ルーティングに投資する前に保存された応答から明らかな特殊化を評価する。 コード:https://github.com/KurbanIntelligenceLab/oracle-gaps

関連論文リスト

• Opportunity Is Not Realizability: Selection-Valid Diagnostics for Multi-LLM Routing [0.9558392439655014]
  Oracleのルーティングは、クエリごとの選択によって、言語モデルのプールがどれだけ得られるかを測定する。 我々は、最適な固定モデルを選択するか、ルータファミリーの最良のメンバーを選択するのに生き残る選択正当信頼区間を証明した。 実現可能なオラクルの機会の共有は小さく、証明可能である。
  論文  参考訳（メタデータ） (2026-08-08T17:53:43Z)
• Oracle Gap and Signal Fidelity: A Fixed-Pool Diagnostic for Test-Time Collaboration [8.515185888009833]
  テストタイムのコラボレーションはLLM推論の改善と評価されることが多いが、その利益は不均一であり、時にはネガティブである。 固定候補プールに対しては、セレクタまたは検証器のネットゲインを測定可能な要素に分解する。 このことは、マルチエージェントトポロジーの本質的な性質としてではなく、候補選択問題として協調を再構築する。
  論文  参考訳（メタデータ） (2026-07-20T04:09:19Z)
• How Much of the Routing Gap Is Real? Decomposing the Router-to-Oracle Gap into Reproducible Specialist Advantage and Single-Draw Label Noise [0.10152838128195468]
  シングルドローノイズはギャップのかなりの少数派であり、不飽和ベンチマークでは大きく、最も厳しいクエリでは半分に近づいている。 ルーティングベンチマークが採用可能なマルチサンプルオラクルプロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-07-03T15:49:40Z)
• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Align Your Prompts: Test-Time Prompting with Distribution Alignment for Zero-Shot Generalization [64.62570402941387]
  テスト領域のギャップを埋めるために、機能分散シフトを最小限にして、テスト時にマルチモーダルプロンプトを適用するために、単一のテストサンプルを使用します。 提案手法は,既存のプロンプト学習技術以上のゼロショットトップ1精度を向上し,ベースラインのMaPLeよりも3.08%向上した。
  論文  参考訳（メタデータ） (2023-11-02T17:59:32Z)
• Mind the Gap: The Difference Between Coverage and Mutation Score Can Guide Testing Efforts [8.128730027609471]
  テストスイートは、システムの要求/仕様と実装の間のすべての矛盾を効果的に見つけるべきです。 実践者は、しばしばコードカバレッジを使って精度を近似するが、学者は、突然変異スコアは真の(奇抜な)精度を近似する方がよいと主張している。 我々は、オラクルギャップと呼ばれるアイデアに基づいて、与えられたテストの規模、限界、性質を推論する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:05:52Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。