Fugu-MT 論文翻訳(概要): Divergence Decoding: Training-Free Capability Fusion

論文の概要: Divergence Decoding: Training-Free Capability Fusion

arxiv url: http://arxiv.org/abs/2607.27248v1
Date: Tue, 28 Jul 2026 06:52:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.266799
Title: Divergence Decoding: Training-Free Capability Fusion
Title（参考訳）: 多様性のデコーディング: トレーニング不要の能力融合
Abstract要約: Divergence Decodingは、能力融合のためのトレーニング不要のフレームワークである。投機的復号化の"ドラフト・アンド・検証"スケルトンを適応的なルーティング機構に再構築する。
参考スコア（独自算出の注目度）: 25.926628015657915
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While large language models excel in reasoning, these generalists often lack knowledge for specialized scientific domains. Conversely, domain models~(specialists), while knowledgeable, suffer from specialization side-effects including diminished logic and reduced robustness.To address this dilemma, we introduce Divergence Decoding, a training-free framework for capability fusion. It reconstructs the "draft-and-verify" skeleton of speculative decoding into an adaptive routing mechanism. The core is using Jensen-Shannon divergence to monitor the distributional disagreement between the two models at each token. When the specialist exhibits significant divergence, our method identifies it as a potential reasoning risk and instantaneously routes control to the generalist. This allows the dynamic injection of general reasoning while preserving domain expertise, achieving inference-time policy composition of the generalist and the specialist.We evaluate Divergence Decoding across diverse model families (Qwen and Llama series) on challenging scientific benchmarks (GPQA, ChemBench, and ChemCoTBench). Experimental results demonstrate that Divergence Decoding outperforms both the domain-specialized and general-purpose models, effectively surpassing the performance of most single-model baseline. This suggests that Divergence Decoding provides a general, training-free paradigm for fusing diverse LLM capabilities through adaptive inference-time collaboration.
Abstract（参考訳）: 大きな言語モデルは推論において優れているが、これらの一般論者は専門的な科学領域に関する知識を欠いていることが多い。逆に、ドメインモデル~(スペシャリスト)は知識に乏しいものの、ロジックの低下やロバストネスの低下といった特殊化の側面に悩まされ、このジレンマに対処するために、能力融合のためのトレーニング不要のフレームワークであるDivergence Decodingを導入します。投機的復号化の"ドラフト・アンド・検証"スケルトンを適応的なルーティング機構に再構築する。コアはJensen-Shannon分散を用いて、トークン毎に2つのモデル間の分散不一致を監視する。本手法では,スペシャリストが多種多様である場合,潜在的な推論リスクとして認識し,その制御をジェネリストに即時にルーティングする。これにより、ドメインの専門知識を維持しながら、一般的な推論を動的に注入し、ジェネラリストとスペシャリストの推論時ポリシー構成を達成し、科学的ベンチマーク(GPQA、ChemBench、ChemCoTBench)に挑戦する様々なモデルファミリー(Qwen、Llamaシリーズ)の多様性デコーディングを評価することができる。実験結果から,ディバージェンスデコーディングはドメイン特化モデルと汎用モデルの両方より優れており,ほとんどの単一モデルベースラインの性能を効果的に上回っていることが示された。このことは、ダイバージェンス・デコーディングが適応的推論時協調を通じて多様なLLM機能を融合させる、一般的な、トレーニングなしのパラダイムを提供することを示唆している。

関連論文リスト

CDFM: Towards a General-Purpose Causal Discovery Foundation Model [62.32138962508216]
因果発見は、観測データから根底にある因果構造を復元する過程である。ゼロショット構造推論のための統一的汎用フレームワークとしてCausal Discovery Foundation Model (CDFM) を定式化する。 CDFMは従来のアルゴリズムを一貫して上回り、汎用因果発見基盤モデルへのパラダイムシフトを推進している。
論文参考訳（メタデータ） (2026-07-13T12:58:28Z)
Human-Machine Collaboration on Generative Meta-Learning: Model and Algorithm [22.212135025785244]
機械学習モデルをトレーニングディストリビューションとは異なる環境に一般化することは、依然として重要なハードルである。本稿では,データ合成の指導に専門家の直観を活用することによって,この領域のギャップを埋める新しいフレームワークであるGMHF(Generative Meta-Learning with Human Feedback)を提案する。
論文参考訳（メタデータ） (2026-07-01T13:29:54Z)
CausalMoE: A Billion-Scale Multimodal Foundation Model for Granger Causal Discovery with Pattern-Routed Heterogeneous Experts [25.563603697914242]
数十億のマルチモーダル・グランガー因果基盤モデルであるCausalMoEを提案する。 CaulMoEは、潜時パターンを動的に識別する、異種エキスパートのパターン制御混合を導入する。また、変数間で動作し、スパースグランガー因果グラフを生成する因果自覚機構を設計する。
論文参考訳（メタデータ） (2026-06-11T07:57:23Z)
How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文参考訳（メタデータ） (2025-12-30T08:16:20Z)
Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models [71.9060068259379]
汎用推論モデルを構築するために,ケースド・ドメインワイド強化学習を提案する。私たちの14Bモデルは、RLの後、LiveCodeBench v5/v6 ProでSFTの教師であるDeepSeek-R1-0528を上回り、インフォマティクスにおける2025 International Olympiad in Informatics (IOI)における銀の医療性能を上回りました。
論文参考訳（メタデータ） (2025-12-15T18:02:35Z)
Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
論文参考訳（メタデータ） (2025-07-15T16:33:01Z)
Identifying Causal Direction via Variational Bayesian Compression [6.928582707713723]
鍵となる原理はアルゴリズムマルコフ条件であり、因果方向に応じて分解された結合分布はより簡潔な符号長をもたらすと仮定する。従来のアプローチでは、これらの符号長を単純な関数やガウス過程(GP)に頼って容易に評価可能な複雑さで近似していた。本稿では,ニューラルネットワークの変分ベイズ学習をコード長の解釈として活用することを提案する。
論文参考訳（メタデータ） (2025-05-12T12:40:15Z)
More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing [5.846028298833611]
Conditionally Overlapping Mixture of ExperTs (COMET) は、モジュラーでスパースなアーキテクチャを、指数関数的に重複する専門家数で誘導する一般的なディープラーニング手法である。画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を示す。
論文参考訳（メタデータ） (2024-10-10T14:58:18Z)
LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
論文参考訳（メタデータ） (2024-09-29T03:56:21Z)
ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文参考訳（メタデータ） (2022-06-24T08:18:05Z)
On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文参考訳（メタデータ） (2022-06-09T17:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。