論文の概要: GRIP: Granular Reward-Guided Parameter Interpolation for Efficient Reasoning
- arxiv url: http://arxiv.org/abs/2608.25583v1
- Date: Wed, 26 Aug 2026 09:51:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.72426
- Title: GRIP: Granular Reward-Guided Parameter Interpolation for Efficient Reasoning
- Title（参考訳）: GRIP:高効率推論のためのグラニュラーリワード誘導パラメータ補間
- Abstract要約: 推論指向の大規模言語モデルは、長いチェーンの思考を生成することで、強力な問題解決性能を達成することが多い。
対照的に、命令調整されたモデルはより簡潔に答える傾向があるが、しばしば同等の推論能力に欠ける。
この精度と効率のミスマッチは、完全なモデルの再訓練なしに両方のモデルの強度を組み合わせる軽量なアプローチを動機付けている。
- 参考スコア（独自算出の注目度）: 8.030422191785364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning-oriented large language models often achieve strong problem-solving performance by generating long chains of thought, but this behavior substantially increases inference cost and latency. In contrast, instruction-tuned models tend to answer more concisely, yet often lack comparable reasoning ability. This accuracy-efficiency mismatch motivates a lightweight approach that combines the strengths of both models without full model retraining. In this paper, we propose GRIP (Granular Reward-guided Interpolation of Parameters), a reward-guided parameter interpolation framework for efficient reasoning. Given a reasoning model and an instruction model with identical architectures, GRIP assigns learnable interpolation ratios to individual modules and optimizes only these ratios while keeping both source models frozen. The interpolation ratios are trained with a reward signal that favors responses that are both correct and concise. Experiments show that GRIP achieves a better accuracy-efficiency trade-off than fixed or search-based merging baselines and further reveals module-wise fusion patterns associated with efficient reasoning.
- Abstract（参考訳）: 推論指向の大規模言語モデルは、長い思考の連鎖を生成することによって、強力な問題解決性能を得ることが多いが、この振る舞いは推論コストと遅延を大幅に増加させる。
対照的に、命令調整されたモデルはより簡潔に答える傾向があるが、しばしば同等の推論能力に欠ける。
この精度と効率のミスマッチは、完全なモデルの再訓練なしに両方のモデルの強度を組み合わせる軽量なアプローチを動機付けている。
本稿では,効率的な推論のためのパラメータ補間フレームワークGRIP(Granular Reward-guided Interpolation of Parameters)を提案する。
同一アーキテクチャの推論モデルと命令モデルが与えられた場合、GRIPは学習可能な補間比を個々のモジュールに割り当て、これらの比率だけを最適化し、両方のソースモデルを凍結させながら最適化する。
補間比は、正確かつ簡潔な応答を好む報酬信号で訓練される。
実験により、GRIPは、固定または探索に基づくマージベースラインよりも精度と効率のトレードオフが良好であることを示し、さらに効率的な推論に関連するモジュールワイド融合パターンを明らかにした。
関連論文リスト
- ERR+: Sequential Entropy Resolution for Efficient and Decisive LLM Reasoning [13.033342249823022]
大規模推論モデルのための2相RLVRフレームワークを提案する。
第1段階はエントロピー・リリーフ・リワード (ERR) で、累積トークンレベル・エントロピー・ドロップに比例するボーナスを思考フェーズで行う。
第2フェーズでは、ロバスト相対効率逆転(Robust Relative efficiency Reward)を導入し、それぞれが生成したピアに対してレスポンスの長さをスコアする。
論文 参考訳（メタデータ） (2026-08-28T18:28:50Z) - Towards Efficient Reasoning in LLM-Based Recommender Systems via Model Merging [40.437136371324875]
大規模な言語モデルベースのレコメンダシステムは、予測を行う前にステップバイステップの推論を生成するスロー思考モデルの採用が増えている。
既存のトレーニングベースの圧縮推論アプローチは、しばしば相当な適応コストを発生させる。
我々は,レコメンデータシステムにおける圧縮の推論のための最初のモデルマージフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-11T04:01:35Z) - Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization [59.20570719781289]
マルチモーダル大規模推論モデルは推論パラダイムを導入し、複雑な視覚言語タスクに強力な能力を示す。
既存のトレーニングベースの手法では、応答レベルの直接選好最適化(DPO)を通じて幻覚を緩和し、CoT(Chain-of-Thought)と最終回答をモノリシックな出力として扱い、協調的に最適化する。
我々は、応答生成条件としてCoTをモデル化し、異なるCoT条件下で同じ好みの回答を優先し、応答支持型推論連鎖アライメントを促進するReasoning-Conditioned Direct Preference Optimization (RC-DPO) を導出する。
論文 参考訳（メタデータ） (2026-05-27T03:27:23Z) - Recursive Think-Answer Process for LLMs and VLMs [54.52289112197118]
R-TAP(Recursive Think-Answer Process)を提案する。
R-TAPにより、モデルは反復的推論サイクルに参加し、より正確な答えを生成することができる。
R-TAP強化モデルが従来のシングルパス法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-03-02T17:20:10Z) - Anti-Length Shift: Dynamic Outlier Truncation for Training Efficient Reasoning Models [29.56923793047279]
本稿では,冗長トークンを選択的に抑制する訓練時間介入であるDynamic Outlier Truncation(DOT)を紹介する。
DOTは、完全に正しいロールアウトグループ内での応答長の極端のみを目標とし、長い水平推論能力を保っている。
提案手法は,初期ポリシーに比べて精度を高くしながら,推論トークンの使用率を78%削減する。
論文 参考訳（メタデータ） (2026-01-07T14:31:07Z) - Reasoning Pattern Alignment Merging for Adaptive Reasoning [48.347817456299104]
Reasoning Pattern Alignment Merging (RPAM)
RPAMは、クエリ適応推論を容易にする機能アライメントに基づく階層的なモデルマージフレームワークである。
広く使用されている7つの推論ベンチマークの実験により、RPAMは強い性能を維持しながら推論コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2026-01-07T01:36:39Z) - Revisiting Model Interpolation for Efficient Reasoning [27.32667995137936]
2つの重みを直接補間する最も単純なマージ法を再検討する。
我々は、モデルが推論軌道に異なる振る舞いを持つ3段階の進化パラダイムに従うことを観察する。
論文 参考訳（メタデータ） (2025-10-13T03:30:01Z) - RFG: Test-Time Scaling for Diffusion Large Language Model Reasoning with Reward-Free Guidance [101.30279597148973]
プロセス報酬を明示せずにdLLMの推論軌道を導出するためのRFGを提案する。
RFGは、すべてのタスクとモデルタイプに一貫して大きな改善をもたらし、最大9.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-09-29T23:59:16Z) - ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。
DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文 参考訳（メタデータ） (2025-06-23T16:20:44Z) - Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [60.151643048803145]
本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。
提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。
GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-06-18T21:15:59Z) - FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental
Regularization [5.182014186927254]
大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。
我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。
我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
論文 参考訳（メタデータ） (2023-09-13T08:51:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。