Fugu-MT 論文翻訳(概要): Is Discrete Difficulty Sufficient? Leveraging Continuous Difficulty for Efficient Self-Consistency in LLMs

論文の概要: Is Discrete Difficulty Sufficient? Leveraging Continuous Difficulty for Efficient Self-Consistency in LLMs

arxiv url: http://arxiv.org/abs/2608.24590v1
Date: Tue, 25 Aug 2026 14:17:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:35.023545
Title: Is Discrete Difficulty Sufficient? Leveraging Continuous Difficulty for Efficient Self-Consistency in LLMs
Title（参考訳）: 離散的難易度は十分か? LLMにおける自己整合性向上のための連続的難易度を活用する
Abstract要約: 自己整合性(Self-Consistency, SC)は、様々な推論経路を抽出し、最も一貫した答えを選択するデコード戦略である。複数の推論経路を生成することによって生じる過剰なトークン消費は、SCの大きな制限として認識されている。本稿では,連続的な信号として問題難易度を推定し,生成した推論経路の数を動的に調整するフレキシブル自己整合性(FSC)を提案する。
参考スコア（独自算出の注目度）: 11.780939486930398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-Consistency (SC) is a decoding strategy that samples diverse reasoning paths and selects the most consistent answer, demonstrating strong performance on complex reasoning problems. However, the excessive token consumption incurred by generating multiple reasoning paths has been identified as a major limitation of SC. To improve computational efficiency, several studies have proposed strategies that adjust the number of reasoning paths or allocate resources differentially according to problem difficulty. Nevertheless, most existing methods categorize difficulty into a few fixed levels, failing to fully capture the continuously varying nature of reasoning complexity. In this work, we propose Flexible Self-Consistency (FSC), which estimates problem difficulty as a continuous signal and dynamically adjusts the number of generated reasoning paths accordingly. FSC predicts the output entropy of an input question using a pre-trained probe and leverages it as an indicator of model uncertainty to flexibly control the sampling budget. Experimental results show that, across various models and benchmarks, FSC maintains accuracy comparable to SC while achieving token savings of up to 76%.
Abstract（参考訳）: 自己整合性(Self-Consistency, SC)は、様々な推論経路を抽出し、最も一貫した答えを選択し、複雑な推論問題に対して強力なパフォーマンスを示すデコード戦略である。しかし、複数の推論経路を生成することによって生じる過剰なトークン消費は、SCの大きな制限として認識されている。計算効率を向上させるために、いくつかの研究で、推論経路の数を調整したり、問題の難易度に応じて資源を差分に割り当てる戦略が提案されている。しかしながら、既存のほとんどの手法は難易度をいくつかの固定レベルに分類し、推論の複雑さの連続的な性質を完全に把握できなかった。本研究では、連続的な信号として問題難度を推定し、それに応じて生成された推論経路の数を動的に調整するフレキシブル自己整合性(FSC)を提案する。 FSCは、事前訓練されたプローブを用いて入力質問の出力エントロピーを予測し、モデル不確実性の指標として利用し、サンプリング予算を柔軟に制御する。実験結果によると、さまざまなモデルやベンチマークにおいて、SCはSCに匹敵する精度を維持しつつ、トークンの保存を最大76%達成している。

関連論文リスト

CAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models [18.894895416263296]
CAT(Confidence-Adaptive Thinking)は、モデル固有の自己確実性信号の信頼性を優先最適化プロセスに組み込むフレームワークである。我々の研究により、LRMは不確実なことを検討しながら、信頼性の高い応答を効果的に圧縮することができ、実用的な産業シナリオにおける精度とレイテンシのバランスをとるための、潜在的に堅牢なソリューションを提供する。
論文参考訳（メタデータ） (2026-07-01T12:27:14Z)
SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
論文参考訳（メタデータ） (2026-06-16T08:52:15Z)
CAMD: Coverage-Aware Multimodal Decoding for Efficient Reasoning of Multimodal Large Language Models [48.33850939857255]
我々は、サンプリングカバレッジ、インスタンスの難易度、残留リスクをリンクする理論的枠組みを開発する。解析の結果,マルチモーダル推論は重み付き難易度分布を示すことがわかった。推定不確実性に応じて動的に割り当てる適応型推論機構であるCoverage-Aware Multimodal Decoding (CAMD)を提案する。
論文参考訳（メタデータ） (2026-03-16T02:31:03Z)
Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning [32.332197731504046]
デコード戦略は、大きな言語モデルの推論能力を形成する上で、中心的な役割を果たす。グレディ復号やビームサーチといった従来の手法は、しばしばエラーの伝播に悩まされる。本稿では,トークンレベルの適応性を世代に導入するエントロピー誘導復号化フレームワークを提案する。
論文参考訳（メタデータ） (2026-03-10T23:08:26Z)
Breaking the Pre-Sampling Barrier: Activation-Informed Difficulty-Aware Self-Consistency [10.079669716138763]
自己整合性(英: Self-Consistency, SC)は、大規模言語モデル(LLM)の推論性能を改善する効果的な復号化戦略である。大量のサンプルを必要とするため、かなりの推論コストに悩まされる。これらの制約に対処するために,アクティベーション・インフォームド・ディフルティ・アウェア・セルフ一貫性(ACTSC)を提案する。
論文参考訳（メタデータ） (2026-02-10T06:05:11Z)
ARES: Multimodal Adaptive Reasoning via Difficulty-Aware Token-Level Entropy Shaping [54.37497695483689]
本稿では,タスクの難易度に基づいて探索作業を動的に割り当てる適応推論のための統合フレームワークであるARESを提案する。単一トークンエントロピーはノイズが多いが,高いウィンドウエントロピー(HWE)トークンは推論クリティカルな瞬間を確実に捉えることができる。 In the Adaptive Cold-Start stage, we curate multimodal and textual data paired with reasoning traces of length proportional to problem difficulty。第2段階では,HWEトークンを探索トリガとする適応エントロピーポリシー最適化(AEPO)を開発する。
論文参考訳（メタデータ） (2025-10-09T17:03:28Z)
TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
論文参考訳（メタデータ） (2025-05-27T06:30:48Z)
PATS: Process-Level Adaptive Thinking Mode Switching [53.53401063490537]
現在の大言語モデル(LLM)は、通常、難易度に関わらず、すべての質問に対して、単純または複雑に固定された推論戦略を採用する。このようなタスクと推論プロセスの複雑さの変化の無視は、パフォーマンスと効率のバランスを損なう。既存の手法では, 難易度が異なる問題に対処するために, 学習不要な高速スロー思考システムを導入しようとするが, 厳密な解レベルの戦略調整によって制限される。プロセスレベル適応思考モードスイッチング(PATS)という新しい推論パラダイムを提案し,各ステップの難易度に基づいてLLMが推論戦略を動的に調整し,そのバランスを最適化する。
論文参考訳（メタデータ） (2025-05-25T17:58:50Z)
Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective [27.94738910330893]
強化学習は、大規模言語モデルの推論能力を高める可能性を示す。既存の手法では,問題問題に基づくスケジューリングによる効率向上が試みられている。本稿では,問題の正確かつ安定した推定を可能にするtextbfC$ompetence-$textbfD$ifficultyを提案する。
論文参考訳（メタデータ） (2025-05-23T09:15:26Z)
MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times [49.1574468325115]
最適勾配を計算できる複数の並列作業者の設定において、滑らかな非関数の期待を最小化する問題について検討する。この文脈における課題は、任意に不均一で分散された計算時間の存在である。本稿では,このギャップに対処する新しい並列SGD法であるMindFlayer SGDを紹介する。
論文参考訳（メタデータ） (2024-10-05T21:11:32Z)
Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning [19.408941114068444]
自己整合性(英: Self-Consistency, SC)は、思考の連鎖推論のための復号法である。その変種である適応自己整合(ASC)とアーリーストッピング自己整合(ESC)は、プレサンプルの集合の後方分布に基づいて標本の数を動的に調整する。本稿では,バッチクエリの難易度情報を利用して推論資源を適応的に割り当てるDifficulty-Adaptive Self-Consistency (DSC)を提案する。
論文参考訳（メタデータ） (2024-08-24T04:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。