論文の概要: Exploring Heterogeneous Model Merging Approach for Complex Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2609.39369v1
• Date: Wed, 30 Sep 2026 09:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.514616
• Title: Exploring Heterogeneous Model Merging Approach for Complex Knowledge Transfer
• Title（参考訳）: 複雑な知識伝達のための不均一モデルマージ手法の探索
• Abstract要約: 一般言語モデル間で知識を伝達するために, 前述した2つの訓練不要な異種統合手法を専門-一般間移動に適用する。 我々は、受信者の形状に専門的なドナーを投影し、勾配更新やセマンティックアライメントなしでバックボーンパラメータを補間する。
• 参考スコア（独自算出の注目度）: 45.09190044500922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Specialized models encode task-oriented behavior, but transferring that behavior to a general language model usually requires training, distillation, or representation alignment. We study whether such ability can instead be transferred directly at the parameter level. We apply two existing training-free heterogeneous merging methods, previously shown to transfer knowledge between general language models, to specialist-to-general transfer, projecting a specialist donor into the recipient's shape and interpolating backbone parameters without gradient updates or semantic alignment. Intersection-Merge (IM) injects a prefix-aligned donor slice matching the recipient shape, while Activate-Prune-Merge (APM) uses forward-pass activation statistics to select which donor dimensions to retain before injection. Across embedding, reranking, reward modeling, and MoE code-specialist transfer, both methods improve the general recipient, showing that simple heterogeneous merging can move capabilities across diverse specialist roles.
• Abstract（参考訳）: 特殊化されたモデルはタスク指向の振る舞いを符号化するが、その振る舞いを一般的な言語モデルに転送するには、通常、トレーニング、蒸留、表現アライメントが必要となる。 パラメータレベルで直接転送できるかどうかを検討する。 従来,一般言語モデル間で知識を伝達し,専門家から一般への伝達,専門家のドナーを受信者の形に投影し,勾配更新やセマンティックアライメントを伴わずにバックボーンパラメータを補間する訓練自由なヘテロジニアスマージ手法を2つの既存手法に適用した。 Intersection-Prune-Merge (IM) は、受信者形状と一致するプレフィックス整列ドナースライスを注入し、Activate-Prune-Merge (APM) はフォワードパスアクティベーション統計を使用して、どのドナー寸法を注入前に保持するかを選択する。 埋め込み、再ランク付け、報酬モデリング、MoEコード-スペシャリスト転送の両手法は、一般的な受信者を改善する。

関連論文リスト

• Semantic Projection for Continual Self-Evolution of Language Agents [16.446374971954032]
  パラメータ空間から振舞い空間へ勾配射影の関数原理を伝達するemphSemantic-Scope Projected Evolution (SSPE)を導入する。 SSPEは、最終クロスドメイン能力を改善し、強力なスキル進化ベースラインに対する忘れを軽減します。 これらの結果は、言語エージェントの安定かつ適応的な自己進化のための有望な原理として意味的プロジェクションを確立する。
  論文  参考訳（メタデータ） (2026-09-29T03:36:07Z)
• Understanding Knowledge Transfer Mechanism in Heterogeneous MLLM Fusion: A Simple Linear Approach [5.040180067606661]
  クロススケールな知識伝達は、共有注入方向に対する能力依存応答により一順に決定される。 高いレベルの推論の利得は、主に言語モデルから生じます。 これらの知見は,狭義の低干渉条件下での言語側推論伝達として,多種多種MLLM融合を再検討した。
  論文  参考訳（メタデータ） (2026-07-29T08:31:27Z)
• Variational Learning for Insertion-based Generation [50.15012125719375]
  可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 本稿では,挿入する場所,挿入する場所,終了するタイミングを共同で学習する生成モデルであるInsertion Process (IP)を提案する。
  論文  参考訳（メタデータ） (2026-06-01T11:59:46Z)
• Bilinear Coordinate Alignment for Training-Free Task-Vector Transfer [13.823003260600663]
  事前訓練されたモデルの新バージョンが利用可能になると、微調整によって得られた専門知識を直接再利用することはできない。 本稿では、Bilinear Coordinateアライメントを介してタスクベクトルを転送するためのトレーニング不要なフレームワークであるBiCoを提案する。 BiCoは、幅、深さ、トレーニング前の設定が異なるモデル間で、既存の転送メソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-27T13:10:34Z)
• One Model to Translate Them All: Universal Any-to-Any Translation for Heterogeneous Collaborative Perception [14.59409728479271]
  任意のモダリティのために,任意のモダリティをオンザフライでトランスレータをインスタンス化する,普遍的な任意の特徴モダリティ変換モデルであるUniTransを提案する。 UniTransは、専門家パラメータのバンクを事前訓練し、ソースからターゲットへのモダリティマッピングの関数としてそれらの組み合わせ係数を学習する。 OPV2V-HとDAIR-V2Xの実験では、UniTransはシミュレーションと実世界の両方の設定において、最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-18T06:14:30Z)
• R^2-HGP: A Double-Regularized Gaussian Process for Heterogeneous Transfer Learning [15.278249213859844]
  多出力ガウス過程(MGP)モデルは、その柔軟性と不確実性量子化能力に大きな注目を集めている。 マルチソース・トランスファー・ラーニングのシナリオでは、タスク間の相関を捉える能力から広く採用されている。 本稿では、転送学習におけるいくつかの課題を克服するために、二重規則化ヘテロジニアスガウスプロセスフレームワーク(R2-HGP)を提案する。
  論文  参考訳（メタデータ） (2025-12-11T03:38:20Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。