論文の概要: ReasonAny: Incorporating Reasoning Capability to Any Model via Simple and Effective Model Merging
- arxiv url: http://arxiv.org/abs/2601.05560v1
- Date: Fri, 09 Jan 2026 06:19:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.864458
- Title: ReasonAny: Incorporating Reasoning Capability to Any Model via Simple and Effective Model Merging
- Title(参考訳): ReasonAny: シンプルで効果的なモデルマージを通じて、任意のモデルに推論能力を導入する
- Authors: Junyao Yang, Chen Qian, Dongrui Liu, Wen Shen, Yong Liu, Jing Shao,
- Abstract要約: 本稿では,コントラシブ・グラディエント同定による推論領域の性能崩壊を解消する新たな統合フレームワークを提案する。
安全、バイオメディシン、ファイナンス領域での実験では、ReasonAnyは効果的に"Reasoning + X"機能を合成している。
- 参考スコア(独自算出の注目度): 46.06799235021118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Reasoning Models (LRMs) with long chain-of-thought reasoning have recently achieved remarkable success. Yet, equipping domain-specialized models with such reasoning capabilities, referred to as "Reasoning + X", remains a significant challenge. While model merging offers a promising training-free solution, existing methods often suffer from a destructive performance collapse: existing methods tend to both weaken reasoning depth and compromise domain-specific utility. Interestingly, we identify a counter-intuitive phenomenon underlying this failure: reasoning ability predominantly resides in parameter regions with low gradient sensitivity, contrary to the common assumption that domain capabilities correspond to high-magnitude parameters. Motivated by this insight, we propose ReasonAny, a novel merging framework that resolves the reasoning-domain performance collapse through Contrastive Gradient Identification. Experiments across safety, biomedicine, and finance domains show that ReasonAny effectively synthesizes "Reasoning + X" capabilities, significantly outperforming state-of-the-art baselines while retaining robust reasoning performance.
- Abstract(参考訳): 長い連鎖推論を持つ大規模推論モデル(LRMs)は、近年、顕著な成功を収めている。
しかし、そのような推論能力を持つ領域特化モデル「推論 + X」は依然として重要な課題である。
既存のメソッドは推論の深さを弱め、ドメイン固有のユーティリティを妥協する傾向があります。
興味深いことに、この失敗の根底にある反直観的な現象を同定する: 推論能力は、主に勾配感度の低いパラメータ領域に存在するが、領域能力が高次パラメータに対応するという一般的な仮定とは対照的である。
この知見に触発されて、ReasonAnyを提案する。ReasonAnyは、Contrastive Gradient Identificationを通じて、推論ドメインのパフォーマンスの崩壊を解決する新しい統合フレームワークである。
安全、バイオメディシン、ファイナンス領域での実験では、ReasonAnyは"Reasoning + X"機能を効果的に合成し、最先端のベースラインを著しく上回りながら、堅牢な推論性能を維持している。
関連論文リスト
- Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。
ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。
複数のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2026-01-08T06:57:03Z) - Lost at the Beginning of Reasoning [85.17612793300238]
第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。
本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
論文 参考訳(メタデータ) (2025-06-27T09:53:57Z) - Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning [12.559028963968247]
モデルの推論能力と公平性との関係について検討する。
より強力な推論能力を持つ大型モデルは、かなり低いステレオタイプバイアスを示す。
本稿では,先進的推論モデルから構造的推論トレースを抽出し,そのような能力を欠いたモデルに注入する手法であるReGiFTを紹介する。
論文 参考訳(メタデータ) (2025-04-08T03:21:51Z) - Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。
モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。
因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
論文 参考訳(メタデータ) (2025-02-07T17:01:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。