論文の概要: The Thinking Spectrum: An Emperical Study of Tunable Reasoning in LLMs through Model Merging

• arxiv url: http://arxiv.org/abs/2509.22034v1
• Date: Fri, 26 Sep 2025 08:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.291554
• Title: The Thinking Spectrum: An Emperical Study of Tunable Reasoning in LLMs through Model Merging
• Title（参考訳）: 思考スペクトル:モデルマージによるLLMの可変推論
• Authors: Xiaochong Lan, Yu Zheng, Shiteng Cao, Yong Li,
• Abstract要約: 本稿では,複数の推論ベンチマークにまたがるモデルマージ手法について,大規模な実験的検討を行った。 その結果, モデルマージは, 推論精度とトークン効率のトレードオフを校正するための, 効果的かつ制御可能な手法であることがわかった。 本研究は、この調整可能な空間を包括的に解析し、特定の推論プロファイルを持つLCMを作成するための実践的ガイドラインを提供する。
• 参考スコア（独自算出の注目度）: 8.930191971732649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing demand for large language models (LLMs) with tunable reasoning capabilities in many real-world applications highlights a critical need for methods that can efficiently produce a spectrum of models balancing reasoning depth and computational cost. Model merging has emerged as a promising, training-free technique to address this challenge by arithmetically combining the weights of a general-purpose model with a specialized reasoning model. While various merging techniques exist, their potential to create a spectrum of models with fine-grained control over reasoning abilities remains largely unexplored. This work presents a large-scale empirical study evaluating a range of model merging techniques across multiple reasoning benchmarks. We systematically vary merging strengths to construct accuracy-efficiency curves, providing the first comprehensive view of the tunable performance landscape. Our findings reveal that model merging offers an effective and controllable method for calibrating the trade-off between reasoning accuracy and token efficiency, even when parent models have highly divergent weight spaces. Crucially, we identify instances of Pareto Improvement, where a merged model achieves both higher accuracy and lower token consumption than one of its parents. Our study provides the first comprehensive analysis of this tunable space, offering practical guidelines for creating LLMs with specific reasoning profiles to meet diverse application demands.
• Abstract（参考訳）: 多くの実世界のアプリケーションでチューナブルな推論能力を持つ大規模言語モデル(LLM)の需要が高まっていることは、推論深度と計算コストのバランスをとるモデルのスペクトルを効率的に生成できる方法に対する重要な必要性を浮き彫りにしている。 モデルマージは、汎用モデルの重みと特殊な推論モデルとを算術的に組み合わせることで、この課題に対処するための有望でトレーニング不要な手法として登場した。 様々なマージ技術が存在するが、推論能力に対するきめ細かい制御を持つモデルのスペクトルを作る可能性はほとんど未解明のままである。 本研究は,複数の推論ベンチマークにまたがるモデルマージ手法について,大規模な実験的検討を行った。 我々は,精度・効率曲線を構築するためにマージ強度を体系的に変化させ,チューナブルなパフォーマンスのランドスケープを初めて包括的に把握する。 その結果,モデルマージは,モデルが高分散重み空間を持つ場合でも,推論精度とトークン効率のトレードオフを校正するための有効かつ制御可能な手法であることがわかった。 重要な点として、私たちはPareto Improvementの例を特定し、この例では、マージされたモデルは、親の1つよりも高い精度と低いトークン消費を達成する。 本研究は、この調整可能な空間を包括的に分析し、多様なアプリケーション要求を満たすための特定の推論プロファイルを持つLCMを作成するための実践的ガイドラインを提供する。

関連論文リスト

• Don't Overthink It: A Survey of Efficient R1-style Large Reasoning Models [49.598776427454176]
  大規模共振モデル (LRM) は, 複雑なタスクの処理性能に優れていたため, 徐々に研究ホットスポットになりつつある。 しかし、これらのモデルが広く適用されたことにより、過度に考え直すという問題が徐々に顕在化していった。 モデル性能と推論能力を損なうことなく、推論経路の長さを短縮することを目的とした、様々な効率的な推論手法が提案されている。
  論文  参考訳（メタデータ） (2025-08-04T06:54:31Z)
• Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
  本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。 専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。 我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-05-27T04:08:11Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• Modèles de Substitution pour les Modèles à base d'Agents : Enjeux, Méthodes et Applications [0.0]
  エージェントベースモデル(ABM)は、局所的な相互作用から生じる創発的な現象を研究するために広く用いられている。 ABMの複雑さは、リアルタイム意思決定と大規模シナリオ分析の可能性を制限する。 これらの制限に対処するため、サロゲートモデルはスパースシミュレーションデータから近似を学習することで効率的な代替手段を提供する。
  論文  参考訳（メタデータ） (2025-05-17T08:55:33Z)
• Synergistic Weak-Strong Collaboration by Aligning Preferences [53.47675666475273]
  現在のLarge Language Models (LLMs) は、プロプライエタリな知識やドメイン固有の知識を必要とする特別なタスクに苦戦する一般的な推論において優れている。 本稿では、特殊な弱いモデルと一般的な強いモデルとを組み合わせた協調的なフレームワークを提案する。 相補的な強みを活用することで、コラボレーションが各モデルを単独で著しく上回っていることが分かりました。
  論文  参考訳（メタデータ） (2025-04-21T15:57:33Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)
• Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
  本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。 複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
  論文  参考訳（メタデータ） (2024-09-05T11:49:53Z)
• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。