論文の概要: Dual-Dimensional Consistency: Balancing Budget and Quality in Adaptive Inference-Time Scaling
- arxiv url: http://arxiv.org/abs/2605.15100v1
- Date: Thu, 14 May 2026 17:19:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.97651
- Title: Dual-Dimensional Consistency: Balancing Budget and Quality in Adaptive Inference-Time Scaling
- Title(参考訳): 2次元一貫性:適応型推論時間スケーリングにおける予算と品質のバランス
- Abstract要約: 大規模言語モデル(LLM)は推論において顕著な能力を示した。
推論時間のスケーリングによる可能性の最大化は、サンプリング予算と推論品質の間のトレードオフにおいて、課題に直面します。
本稿では,経路品質を適応終端でブリッジする統合フレームワークであるDDCを提案する。
- 参考スコア(独自算出の注目度): 12.49034574686497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable abilities in reasoning. However, maximizing their potential through inference-time scaling faces challenges in trade-off between sampling budget and reasoning quality. Current strategies remain inefficient as they typically treat sampling width and depth as orthogonal objectives, where width consensus methods risk reinforcing hallucinations, while depth pruning mechanisms prematurely truncate complex yet valid reasoning chains. Therefore, we propose Dual-Dimensional Consistency (DDC), a unified framework that bridges path quality with adaptive termination. By coupling Confidence-Weighted Bayesian protocol with a Trend-Aware Stratified Pruning, our method ensures that computational resources are concentrated on high quality reasoning paths, filtering hallucinations while accelerating consensus. Evaluations across five benchmarks demonstrate that this approach reduces token consumption by over 10 times while maintaining or exceeding the accuracy of strong baselines across various LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は推論において顕著な能力を示した。
しかし、推論時間のスケーリングによる可能性の最大化は、サンプリング予算と推論品質の間のトレードオフの課題に直面します。
現在の戦略は、サンプリング幅と深さを直交目的として扱うのが一般的であり、幅コンセンサス法は幻覚を補強するリスクを負う一方、深さプルーニング機構は、複雑で有効な推論連鎖を早期に切断する。
そこで本稿では,経路品質を適応終端でブリッジする統合フレームワークであるDDCを提案する。
信頼度重み付けベイズプロトコルとトレンド・アウェア・ストラテファイド・プルーニングを結合することにより、計算資源は高品質な推論経路に集中し、幻覚をフィルタリングし、コンセンサスを加速させる。
5つのベンチマークで評価したところ、このアプローチは様々なLDMの強いベースラインの精度を維持したり、超えたりしながら、トークンの消費を10倍以上削減する。
関連論文リスト
- SFAD: Speculative Factuality-Aware Decoding [13.350717038599386]
ConFideは、きめ細かい原子摂動を持つ選好データセットである。
てんかん摩擦は、専門的な確実性によって重み付けられた分布張力の定量化によって潜在的幻覚を検出する。
非対称ロジットステアリングは残基ロジット注入によりターゲット分布を洗練する。
論文 参考訳(メタデータ) (2026-09-01T06:46:54Z) - Is Your Model Thinking or Just Stagnating? PUMA: Diagnosing Reasoning Pathology via Phase-Momentum Alignment [13.9489759632504]
テストタイムのスケーリングにより、大規模推論モデル(LRM)は、広範囲のチェーン・オブ・ソート(CoT)を介して複雑なタスクに取り組むことができる
本稿では,階層型診断アーキテクチャを用いたトレーニングフリーフレームワークPUMAを紹介する。
1.5Bから32BにまたがるLEMの実験では、PUMAは様々なベンチマークで常に最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-07-19T11:00:59Z) - Think Less, Know More: State-Aware Reasoning Compression with Knowledge Guidance for Efficient Reasoning [16.46227355517168]
ロングチェーン・オブ・ソート(CoT)を利用したLRM(Large Reasoning Models)による複雑なタスクの性能向上
既存のCoT圧縮法は、精度と効率のバランスに苦慮し、冗長性と推論バイアスに対するきめ細かいステップレベルの適応を欠いている。
我々は,段階的にCoT圧縮を行うフレームワークである知識誘導による状態認識推論圧縮(Experiments)を提案する。
論文 参考訳(メタデータ) (2026-04-10T09:31:41Z) - ECHO: Elastic Speculative Decoding with Sparse Gating for High-Concurrency Scenarios [12.103618967955846]
投機的復号化は、大規模言語モデルの推論を加速することを約束するが、その有効性はプロダクショングレードのサービスでしばしば低下する。
我々はSGLangに統合された高機能なフレームワークであるECHOを導入し、予算スケジューリング問題として投機的実行を再構成する。
ECHOは低負荷と高負荷の両方のシナリオでSOTA法を一貫して上回り、最大5.35倍のウォールタイムスピードアップを実現し、20%以上の相対的なスピードアップを実現している。
論文 参考訳(メタデータ) (2026-03-10T03:51:24Z) - Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment [97.55382322103986]
Hit-RAGは認知的ボトルネックを解決するために設計された多段階の優先順位調整フレームワークである。
本手法は,3つの異なる段階を通じて外部証拠の利用を体系的に改善する。
論文 参考訳(メタデータ) (2026-03-07T04:05:27Z) - Stable Adaptive Thinking via Advantage Shaping and Length-Aware Gradient Regulation [14.501114943020589]
大規模推論モデル(LRM)は、拡張された推論トレースを通じて強力な性能を達成する。
LRMは低複雑さのクエリに対して過度な振る舞いを示すことが多い。
LRMにおける安定的適応的思考のための2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-26T02:49:36Z) - Beyond Confidence: Adaptive and Coherent Decoding for Diffusion Language Models [64.92045568376705]
コヒーレントコンテキストデコーディング(Coherent Contextual Decoding, CCD)は、2つのコアイノベーションに基づいて構築された新しい推論フレームワークである。
CCDは、歴史的文脈を活用してシーケンスコヒーレンスを高める軌道修正機構を採用している。
拡散ステップに基づく厳密なアロケーションの代わりに,各ステップのアンマスク予算を動的に調整する適応型サンプリング戦略を導入する。
論文 参考訳(メタデータ) (2025-11-26T09:49:48Z) - Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。
フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。
算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文 参考訳(メタデータ) (2025-11-13T07:26:01Z) - Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization [72.30168853571216]
マルチモーダルな言語モデルは、視覚知覚と象徴的推論を統合するタスクに優れています。
CapPO は,(1) 原画像上の条件付き応答とキャプション上の条件付き応答のばらつきを最小限に抑えるキャプションベース整合性正規化,(2) KL 重み付き優位性推定スキームを適応的に拡張して知覚整合性トラジェクトリを強化するキャプションベース整合性正規化という2つの重要なメカニズムを統合した。
論文 参考訳(メタデータ) (2025-09-26T04:32:26Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳(メタデータ) (2025-05-19T11:30:41Z) - ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。
既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。
ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
論文 参考訳(メタデータ) (2025-05-08T01:40:40Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。