論文の概要: GraphLoRA: Empowering LLMs Fine-Tuning via Graph Collaboration of MoE
- arxiv url: http://arxiv.org/abs/2412.16216v1
- Date: Wed, 18 Dec 2024 02:18:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 19:42:47.794603
- Title: GraphLoRA: Empowering LLMs Fine-Tuning via Graph Collaboration of MoE
- Title（参考訳）: GraphLoRA: MoE のグラフコラボレーションによる LLM ファインチューニングの強化
- Authors: Ting Bai, Yue Yu, Le Huang, Zenan Xu, Zhe Zhao, Chuan Shi,
- Abstract要約: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法であり、LLMの様々な下流応用に広く採用されている。
そこで我々は,グラフルータ関数を設計し,専門家間の協調信号をキャプチャする,新しいMoEグラフベースLLM微調整フレームワークGraphLoRAを提案する。
- 参考スコア（独自算出の注目度）: 39.302800055216764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-Rank Adaptation (LoRA) is a parameter-efficient fine-tuning method that has been widely adopted in various downstream applications of LLMs. Together with the Mixture-of-Expert (MoE) technique, fine-tuning approaches have shown remarkable improvements in model capability. However, the coordination of multiple experts in existing studies solely relies on the weights assigned by the simple router function. Lack of communication and collaboration among experts exacerbate the instability of LLMs due to the imbalance load problem of MoE. To address this issue, we propose a novel MoE graph-based LLM fine-tuning framework GraphLoRA, in which a graph router function is designed to capture the collaboration signals among experts by graph neural networks (GNNs). GraphLoRA enables all experts to understand input knowledge and share information from neighbor experts by aggregating operations. Besides, to enhance each expert's capability and their collaborations, we design two novel coordination strategies: the Poisson distribution-based distinction strategy and the Normal distribution-based load balance strategy. Extensive experiments on four real-world datasets demonstrate the effectiveness of our GraphLoRA in parameter-efficient fine-tuning of LLMs, showing the benefits of facilitating collaborations of multiple experts in the graph router of GraphLoRA.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法であり、LLMの様々な下流応用に広く採用されている。
Mixture-of-Expert(MoE)技術とともに、微調整アプローチは、モデル能力において顕著に改善されている。
しかし、既存の研究における複数の専門家の調整は、単純なルータ関数によって割り当てられた重みにのみ依存する。
専門家間のコミュニケーションや協調の欠如は、MoEの不均衡負荷問題によりLLMの不安定性を悪化させる。
この問題に対処するために,グラフニューラルネットワーク(GNN)を用いて,専門家間の協調信号をキャプチャするグラフルータ関数を設計した,新しいMoEグラフベースLLM微調整フレームワークGraphLoRAを提案する。
GraphLoRAは、すべての専門家が入力知識を理解し、操作を集約することで近隣の専門家からの情報を共有することを可能にする。
さらに,各専門家の能力と協調性を高めるために,ポアソン分布に基づく区別戦略と正規分布に基づく負荷バランス戦略の2つの新しい協調戦略を設計する。
実世界の4つのデータセットに対する大規模な実験は、パラメータ効率の良いLLMの微調整におけるGraphLoRAの有効性を示し、GraphLoRAのグラフルータにおける複数の専門家のコラボレーションを促進する利点を示している。
関連論文リスト
- A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis [43.746749403268275]
大規模言語モデル(LLM)は、計算コスト、環境不効率、モノリシックアーキテクチャから受け継いだ潜在的なバイアスに悩まされる。
我々は、高品質で多様な信頼性のあるデータを生成するために、小さなLLMにまたがる特殊な役割を集約する協調的なフレームワークGRAを提案する。
本研究は,データ合成におけるモノリシックな大規模モデルの必要性に挑戦し,より小さなエージェントの戦略的コーディネーションを提唱する。
論文 参考訳（メタデータ） (2025-04-11T06:13:43Z) - Data-centric Federated Graph Learning with Large Language Models [34.224475952206404]
フェデレーショングラフ学習(FGL)では、完全なグラフは、プライバシー上の懸念により、各クライアントに格納された複数のサブグラフに分割される。
FGLの問題点は、ノードや構造がクライアント間で非IID特性を示す不均一性の問題である。
本稿では,FGLの大規模言語モデルのタスクを理論的に2つのサブタスクに分割する枠組みを提案する。
論文 参考訳（メタデータ） (2025-03-25T08:43:08Z) - A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。
提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。
多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
論文 参考訳（メタデータ） (2024-10-29T00:28:02Z) - Simple is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。
本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。
提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
論文 参考訳（メタデータ） (2024-10-28T04:39:32Z) - Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free [21.59456761618456]
大規模言語モデル(LLM)は生成タスクに優れ、デコーダのみのアーキテクチャは、さらなる表現の微調整が適用されない場合、埋め込みモデルとしての可能性を制限することが多い。
我々の研究は、MoE LLMのエキスパートルータが、様々な組込みタスクに対して有望な性能を持つ既製の組込みモデルとして機能できることを示唆している。
論文 参考訳（メタデータ） (2024-10-14T17:59:44Z) - Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。
分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。
本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
論文 参考訳（メタデータ） (2024-10-07T15:34:14Z) - How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。
我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。
私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
論文 参考訳（メタデータ） (2024-10-04T04:48:33Z) - How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。
現在のMoEモデルはパラメータ非効率をしばしば表示する。
我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
論文 参考訳（メタデータ） (2024-08-13T10:25:13Z) - Dual-Channel Latent Factor Analysis Enhanced Graph Contrastive Learning for Recommendation [2.9449497738046078]
グラフニューラルネットワーク(GNN)は、推薦システムのための強力な学習方法である。
近年,コントラスト学習とGNNの統合は,レコメンデータシステムにおいて顕著な性能を示している。
本研究は,LFA-GCLと呼ばれる潜在因子分析(LFA)強化GCLアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-09T03:24:48Z) - CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
そこで本研究では,学習バランスを定量的に評価する尺度を提案する。
さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。
E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
論文 参考訳（メタデータ） (2024-07-20T22:09:42Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳（メタデータ） (2024-05-23T08:33:19Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳（メタデータ） (2024-05-18T12:16:01Z) - KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning
over Knowledge Graph [134.8631016845467]
我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。
KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。
有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
論文 参考訳（メタデータ） (2024-02-17T02:07:49Z) - Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。
このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
論文 参考訳（メタデータ） (2024-02-15T23:09:42Z) - Routing to the Expert: Efficient Reward-guided Ensemble of Large
Language Models [69.51130760097818]
本研究では,報奨誘導型ルーティング手法であるZooterを提案する。
さまざまなドメインやタスクについて26のサブセットを持つ総合的なベンチマークコレクション上でZooterを評価する。
論文 参考訳（メタデータ） (2023-11-15T04:40:43Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳（メタデータ） (2023-10-09T07:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。