論文の概要: Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs

• arxiv url: http://arxiv.org/abs/2506.23940v2
• Date: Tue, 01 Jul 2025 03:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-02 11:48:10.260496
• Title: Graft: Integrating the Domain Knowledge via Efficient Parameter Synergy for MLLMs
• Title（参考訳）: グラフト:MLLMの効率的なパラメータシナジーによるドメイン知識の統合
• Authors: Yang Dai, Jianxiang An, Tianwei Lin, Hongyang He, Hongzhe Huang, Wenqiao Zhang, Zheqi Lv, Siliang Tang, Yueting Zhuang,
• Abstract要約: MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究はほとんど未調査のままである。 専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.76586846269894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved success across various domains. However, their applicability tends to degrade when confronted with different types of data inputs, especially for MLLMs that have been fine-tuned for specific tasks. Despite its importance, the study of knowledge sharing among domain-specific MLLMs--such as those trained for mathematics or code--remains largely underexplored. To address the fragmentation of knowledge across domain-specialized MLLMs, we propose a unified parameter integration framework that enables modular composition of expert capabilities. Our method is grounded in a novel Compatibility-Aware Parameter Splicing (CAPS) strategy, which leverages both local functional attribution and global information-theoretic signals to guide selective parameter fusion. By extending this mechanism to the low-rank adaptation layer granularity, we ensure efficient integration with minimal inference overhead. Furthermore, we introduce a domain compatibility scoring mechanism that quantifies inter-expert alignment at the activation level and correlates with downstream task utility. This principled fusion protocol allows the final model to synergize heterogeneous expertise while preserving structural modularity. Extensive evaluations across diverse multimodal benchmarks validate the effectiveness of our framework, offering a scalable path toward compositional, domain-adaptive MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々な領域で成功している。 しかし、それらの適用性は、特に特定のタスクのために微調整されたMLLMに対して、異なるタイプのデータ入力に直面すると劣化する傾向にある。 その重要性にもかかわらず、ドメイン固有のMLLM間の知識共有の研究 - 数学やコードのために訓練されたものなど - は、ほとんど調査されていない。 ドメイン特化MLLM間の知識の断片化を解決するために,専門家機能のモジュール構成を可能にする統一パラメータ統合フレームワークを提案する。 提案手法は,局所的な機能的帰属とグローバルな情報理論的信号を利用してパラメータ融合を誘導する新しいCAPS戦略を基礎としている。 この機構を低ランク適応層粒度に拡張することにより、最小の推論オーバーヘッドで効率的な積分を実現する。 さらに、アクティベーションレベルにおける専門家間アライメントを定量化し、下流タスクユーティリティと相関するドメイン互換性スコアリング機構を導入する。 この原理的な融合プロトコルにより、最終モデルは構造的モジュラリティを維持しながら不均一な専門知識を相乗化することができる。 多様なマルチモーダルベンチマークによる広範囲な評価は、我々のフレームワークの有効性を検証し、構成的、ドメイン適応型MLLMへのスケーラブルなパスを提供する。

関連論文リスト

• Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration [13.824354003574843]
  Bohdiは、合成データのみのヘテロジニアスなLarge Language Model(LLM)融合フレームワークである。 知識ドメインを階層木構造にまとめることで、Bohdiは自動ドメイン探索とマルチドメインデータ生成を可能にします。 Bohdiは、既存のベースラインを複数のLLMで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-06-04T17:01:38Z)
• Modeling Response Consistency in Multi-Agent LLM Systems: A Comparative Analysis of Shared and Separate Context Approaches [0.0]
  本稿では,文脈制約,ノイズ,エージェント間の依存性がシステム性能に与える影響を評価する指標として,応答一貫性指数(RCI)を導入する。 提案手法は,メモリ制約とノイズ管理の相互作用に着目した既存研究と異なる。
  論文  参考訳（メタデータ） (2025-04-09T21:54:21Z)
• BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition [12.57768435856206]
  本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
  論文  参考訳（メタデータ） (2024-12-03T07:51:14Z)
• Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs [67.27279184423723]
  我々は、ドメインとアライメントベクトルを補間し、より安全なドメイン固有モデルを作成する、textscMergeAlignと呼ばれる効率的なマージベースのアライメント手法を導入する。 医学やファイナンスの専門家であるLlama3の変種にtextscMergeAlignを適用することで、ドメイン固有のベンチマークを最小限または全く劣化させることなく、大幅なアライメントの改善が得られる。
  論文  参考訳（メタデータ） (2024-11-11T09:32:20Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration [5.326588461041464]
  マルチエージェント強化学習(MARL)は、自動運転車ネットワークのような分野を変革している。 異なるロールに対するMARL戦略は、スケールに応じて柔軟に更新することができる。 我々は、スケーラブルで不均一なポリシー最適化(SHPPO)という新しいMARLフレームワークを提案する。 SHPPOは、Starcraft Multi-Agent Challenge (SMAC)やGoogle Research Football (GRF)のような古典的なMARL環境において優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-05T03:02:57Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。