論文の概要: Agentic Systems as Boosting Weak Reasoning Models
- arxiv url: http://arxiv.org/abs/2605.14163v1
- Date: Wed, 13 May 2026 22:32:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.521872
- Title: Agentic Systems as Boosting Weak Reasoning Models
- Title(参考訳): 弱推論モデルとしてのエージェントシステム
- Authors: Varun Sunkaraneni, Pierfrancesco Beneventano, Riccardo Neumarker, Tomaso Poggio, Tomer Galanti,
- Abstract要約: 検証者支援委員会探索を推論言語モデルの推論時間向上として検討する。
繰り返しサンプリングすることでカバレッジを増幅できるが、それ自体で有用な批評家やコンパレータを作ることはできない。
SWE-bench Verifiedでは、単一のテキストGPT-5.4ナノプロポーザルが67.0%のタスクを解決している。
- 参考スコア(独自算出の注目度): 6.622844972691325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can a committee of weak reasoning-model calls reach the performance of much stronger models? We study verifier-backed committee search as inference-time boosting for reasoning language models. The mechanism is not simply that ``more agents help'': samples expose latent correct solutions, while critics and comparators must recover them without access to the hidden verifier. We formalize this view by separating proposal coverage, local identifiability, progress, and diversity. We prove that coverage can be amplified by repeated sampling, but cannot by itself create useful critics or comparators; reliable amplification requires an additional local soundness signal, such as execution, proof checking, type checking, tests, or constraint solving. We give rank-based bounds showing when local selection errors compose into reliable trajectories, and characterize the proposer-side ceiling: oracle best-of-\(k\) converges only to the mass of task slices on which the proposal system assigns nonzero useful probability. Empirically, on SWE-bench Verified, a single \texttt{GPT-5.4 nano} proposal solves \(67.0\%\) of tasks. Using the same nano model, our critic--comparator orchestration reaches \(76.4\%\) with \(k=8\) proposals, matching the standalone performance of \texttt{Gemini 3 Pro} and \texttt{Claude Opus 4.5} Thinking and approaching the \(79.0\%\) oracle best-of-\(8\) upper bound. Thus, many correct patches are already present in weak-model proposal pools; the main challenge is selecting them. The remaining failures are mostly proposal-coverage failures, indicating shared blind spots that stronger selection alone cannot close.
- Abstract(参考訳): 弱い推論モデルコールの委員会は、より強力なモデルのパフォーマンスを達成できるだろうか?
検証者支援委員会探索を推論言語モデルの推論時間向上として検討する。
サンプルが遅延した正しいソリューションを公開するのに対して、批評家やコンパレータは隠された検証者にアクセスせずにそれらを回復しなければならない。
我々はこの見解を、提案対象、地域識別可能性、進歩、多様性を分離して定式化する。
信頼性のある増幅には、実行、検証、型チェック、テスト、制約解決などの局所的な音質信号が必要である。
我々は、局所選択誤差が信頼できる軌道に構成されたときのランクベース境界を付与し、提案者側の天井を特徴付ける: オラクル・ベスト・オブ・(k\)は、提案システムが非ゼロな有用な確率を割り当てるタスクスライスの質量にのみ収束する。
実証的に、SWE-bench Verifiedでは、単一の \texttt{GPT-5.4 nano} の提案がタスクの \(67.0\%\) を解く。
同じナノモデルを用いて、我々の批評家-コンパレータオーケストレーションは、 \(k=8\) の提案と \(76.4\%) に達し、 \texttt{Gemini 3 Pro} と \texttt{Claude Opus 4.5} のスタンドアロン性能と一致する。
したがって、多くの正しいパッチが弱いモデルの提案プールにすでに存在しており、主な課題はそれらを選択することである。
残りの失敗は、主にプロポーザルカバレッジの失敗であり、より強い選択だけでは閉じられない、共有の盲点を示している。
関連論文リスト
- On the Rejection Criterion for Proxy-based Test-time Alignment [6.949966663998242]
近年、プロキシとして小さなアライメントモデルに依存するテスト時間アライメント手法が提案されている。
我々は,不明瞭な言い回しのような言語現象のために,信頼度基準が不動機であると主張している。
本稿では,保守的自信に基づく新たな拒否基準を提案する。
論文 参考訳(メタデータ) (2026-04-17T15:20:13Z) - Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options [4.902225285395898]
本稿では,候補セットを100まで拡張する大規模オプション評価プロトコルを提案する。
この枠組みを韓国の正書法誤り検出タスクに適用する。
その結果、低いオプション設定での強いパフォーマンスは、モデルの能力を誇張できることが示された。
論文 参考訳(メタデータ) (2026-04-16T05:22:12Z) - Towards Anytime-Valid Statistical Watermarking [63.02116925616554]
我々は、任意の時間価推論で最適なサンプリングを統一する、最初のe-value-based watermarking frameworkであるAnchored E-Watermarkingを開発した。
本フレームワークはサンプル効率を大幅に向上させ,最先端のベースラインに対して,検出に必要な平均トークン予算を13~15%削減する。
論文 参考訳(メタデータ) (2026-02-19T18:32:26Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳(メタデータ) (2026-01-08T07:38:46Z) - Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models [2.4065240342323384]
本稿では, 適応型リジェクションサンプリング(EARS)について紹介する。
EARSは、ターゲットモデルの予測不確かさを1-max(P_target)として組み込むことで、受入閾値を動的に調整する。
投機的復号化の効率を大幅に向上させ、18.12%のスループット向上を実現し、GSM8Kベンチマークでは0.84%の精度低下を無視できる。
論文 参考訳(メタデータ) (2025-12-15T11:08:56Z) - Best of mini-N in-loop Sampling: A Contextual Quality Reward Model for Reliable and Efficient Best-of-N Sampling [0.14323566945483493]
ベスト・オブ・Nサンプリングのような現代の選好アライメント技術は、ペア比較データで訓練された報酬モデルに依存している。
この重要な信頼性ギャップに対処するために、新しいデータ収集およびモデリングフレームワークを導入します。
また,アライメントガードレールとして調整した場合,信頼性障害を70%低減し,推論アクセラレータとして調整した場合,平均推定速度を22%以上向上することを示した。
論文 参考訳(メタデータ) (2025-10-05T08:23:08Z) - On Speeding Up Language Model Evaluation [48.51924035873411]
我々はこの空間を探索するために$textitadaptive$アプローチを提案する。
我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。
典型的資源の5~15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
論文 参考訳(メタデータ) (2024-07-08T17:48:42Z) - DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。
まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。
特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
論文 参考訳(メタデータ) (2024-01-10T14:38:46Z) - See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。
得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文 参考訳(メタデータ) (2023-12-13T18:58:04Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳(メタデータ) (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。