論文の概要: Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration

• arxiv url: http://arxiv.org/abs/2506.15721v2
• Date: Mon, 23 Jun 2025 07:03:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:54:00.396355
• Title: Bohdi: Heterogeneous LLM Fusion with Automatic Data Exploration
• Title（参考訳）: Bohdi: 自動データ探索による不均一LLM核融合
• Authors: Junqi Gao, Zhichang Guo, Dazhi Zhang, Dong Li, Runze Liu, Pengfei Li, Kai Tian, Biqing Qi,
• Abstract要約: Bohdiは、合成データのみのヘテロジニアスなLarge Language Model(LLM)融合フレームワークである。 知識ドメインを階層木構造にまとめることで、Bohdiは自動ドメイン探索とマルチドメインデータ生成を可能にします。 Bohdiは、既存のベースラインを複数のLLMで大幅に上回っている。
• 参考スコア（独自算出の注目度）: 13.824354003574843
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Heterogeneous Large Language Model (LLM) fusion integrates the strengths of multiple source LLMs with different architectures into a target LLM with low computational overhead. While promising, existing methods suffer from two major limitations: 1) reliance on real data from limited domain for knowledge fusion, preventing the target LLM from fully acquiring knowledge across diverse domains, and 2) fixed data allocation proportions across domains, failing to dynamically adjust according to the target LLM's varying capabilities across domains, leading to a capability imbalance. To overcome these limitations, we propose Bohdi, a synthetic-data-only heterogeneous LLM fusion framework. Through the organization of knowledge domains into a hierarchical tree structure, Bohdi enables automatic domain exploration and multi-domain data generation through multi-model collaboration, thereby comprehensively extracting knowledge from source LLMs. By formalizing domain expansion and data sampling proportion allocation on the knowledge tree as a Hierarchical Multi-Armed Bandit problem, Bohdi leverages the designed DynaBranches mechanism to adaptively adjust sampling proportions based on the target LLM's performance feedback across domains. Integrated with our proposed Introspection-Rebirth (IR) mechanism, DynaBranches dynamically tracks capability shifts during target LLM's updates via Sliding Window Binomial Likelihood Ratio Testing (SWBLRT), further enhancing its online adaptation capability. Comparative experimental results on a comprehensive suite of benchmarks demonstrate that Bohdi significantly outperforms existing baselines on multiple target LLMs, exhibits higher data efficiency, and virtually eliminates the imbalance in the target LLM's capabilities. Our code is available at https://github.com/gjq100/Bohdi.git.
• Abstract（参考訳）: Heterogeneous Large Language Model (LLM) は、異なるアーキテクチャを持つ複数のソースLLMの強みを、計算オーバーヘッドの少ないターゲットLLMに統合する。 有望ではあるが、既存のメソッドには2つの大きな制限がある。 1)知識融合のための限られた領域からの実際のデータに頼り、目的のLSMが多様な領域にわたる知識を完全に取得することを防止する。 2) ドメイン間の固定データ割り当て比率は、対象のLLMのドメイン間のさまざまな能力に応じて動的に調整できないため、能力のバランスが崩れる。 これらの制限を克服するために,合成データのみのヘテロジニアスLLM融合フレームワークであるBohdiを提案する。 知識ドメインを階層木構造にまとめることで、Bahdiはマルチモデルコラボレーションを通じて自動ドメイン探索とマルチドメインデータ生成を可能にし、ソースLLMから知識を包括的に抽出する。 知識ツリー上でのドメイン拡張とデータサンプリング比率の割り当てを階層的マルチアーマッドバンドイト問題として定式化することにより、ボーディは設計したDynaBranches機構を利用して、対象のLLMのパフォーマンスフィードバックに基づいてサンプリング比率を適応的に調整する。 提案したIR機構と統合したDynaBranchesは,Sliding Window Binomial Likelihood Ratio Testing (SWBLRT) を通じて,目標LLM更新時の能力変化を動的に追跡し,オンライン適応能力をさらに強化する。 総合的なベンチマークによる比較実験の結果、Bohdiは複数のLLMの既存のベースラインを著しく上回り、高いデータ効率を示し、ターゲットLLMの能力の不均衡を実質的に排除していることがわかった。 私たちのコードはhttps://github.com/gjq100/Bohdi.git.comで入手可能です。

関連論文リスト

• FlowerTune: A Cross-Domain Benchmark for Federated Fine-Tuning of Large Language Models [43.62847972139202]
  大規模言語モデル(LLM)は様々な領域で最先端の成果を上げてきたが、その開発は大量の公開データに依存している。 この研究は、現実世界のアプリケーションのためのプライバシ保護、ドメイン特化LDMの開発の基礎を築いた。
  論文  参考訳（メタデータ） (2025-06-03T14:54:12Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。