論文の概要: Revisiting Model Interpolation for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2510.10977v1
• Date: Mon, 13 Oct 2025 03:30:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.184994
• Title: Revisiting Model Interpolation for Efficient Reasoning
• Title（参考訳）: 効率的な推論のためのモデル補間の再検討
• Authors: Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Ngai Wong,
• Abstract要約: 2つの重みを直接補間する最も単純なマージ法を再検討する。 我々は、モデルが推論軌道に異なる振る舞いを持つ3段階の進化パラダイムに従うことを観察する。
• 参考スコア（独自算出の注目度）: 27.32667995137936
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model merging, typically on Instruct and Thinking models, has shown remarkable performance for efficient reasoning. In this paper, we systematically revisit the simplest merging method that interpolates two weights directly. Particularly, we observe that model interpolation follows a three-stage evolutionary paradigm with distinct behaviors on the reasoning trajectory. These dynamics provide a principled guide for navigating the performance-cost trade-off. Empirical results demonstrate that a strategically interpolated model surprisingly surpasses sophisticated model merging baselines on both efficiency and effectiveness. We further validate our findings with extensive ablation studies on model layers, modules, and decoding strategies. Ultimately, this work demystifies model interpolation and offers a practical framework for crafting models with precisely targeted reasoning capabilities. Code is available at \href{https://github.com/wutaiqiang/MI}{Github}.
• Abstract（参考訳）: モデルマージは、典型的にはインストラクションモデルとシンキングモデルにおいて、効率的な推論のために顕著なパフォーマンスを示している。 本稿では,2つの重みを直接補間する最も単純なマージ法について,体系的に再検討する。 特に、モデル補間は3段階の進化パラダイムを踏襲し、推論軌道上での異なる振る舞いを観察する。 これらのダイナミクスは、パフォーマンスコストのトレードオフをナビゲートするための原則化されたガイドを提供する。 実験結果から,戦略的に補間されたモデルが,効率と有効性の両面において,洗練されたモデルマージベースラインを驚くほど超越していることが示されている。 さらに、モデル層、モジュール、デコード戦略に関する広範囲にわたるアブレーション研究により、我々の研究結果を検証した。 最終的に、この研究はモデルの補間をデミステレーションし、正確に目的の推論能力を持つモデルを作成するための実践的なフレームワークを提供する。 コードは \href{https://github.com/wutaiqiang/MI}{Github} で公開されている。

関連論文リスト

• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• Leveraging Submodule Linearity Enhances Task Arithmetic Performance in LLMs [51.09983600916971]
  近年の研究では、線形性を示すモデルがタスク演算の性能を向上させることが示されている。 我々は、この線型性はモデルの部分加群の中にすでに存在すると論じる。 我々はこれらのサブモジュールを独立にマージする革新的なモデルマージ戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-15T06:23:24Z)
• Rethinking Weight-Averaged Model-merging [15.2881959315021]
  モデルマージ(特に重量平均化)は、計算を節約し、追加のトレーニングなしでモデル性能を向上させるという驚くべき効果を示した。 本研究では,解釈可能性のレンズを通した平均的な重み付けモデルを再解釈し,その挙動を規定するメカニズムに関する実証的な知見を提供する。
  論文  参考訳（メタデータ） (2024-11-14T08:02:14Z)
• Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
  我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。 モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。 本稿では,新しいモデル統合戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Inferring effective couplings with Restricted Boltzmann Machines [3.150368120416908]
  生成モデルは、ニューラルネットワークの形でエネルギー関数に関連するボルツマン重みのレベルで観測された相関を符号化しようとする。 制限ボルツマンマシンと有効イジングスピンハミルトニアンとの直接写像を実装した解を提案する。
  論文  参考訳（メタデータ） (2023-09-05T14:55:09Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。