論文の概要: GraphLoRA: Empowering LLMs Fine-Tuning via Graph Collaboration of MoE

• arxiv url: http://arxiv.org/abs/2412.16216v1
• Date: Wed, 18 Dec 2024 02:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:45.066281
• Title: GraphLoRA: Empowering LLMs Fine-Tuning via Graph Collaboration of MoE
• Title（参考訳）: GraphLoRA: MoE のグラフコラボレーションによる LLM ファインチューニングの強化
• Authors: Ting Bai, Yue Yu, Le Huang, Zenan Xu, Zhe Zhao, Chuan Shi,
• Abstract要約: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法であり、LLMの様々な下流応用に広く採用されている。 そこで我々は,グラフルータ関数を設計し,専門家間の協調信号をキャプチャする,新しいMoEグラフベースLLM微調整フレームワークGraphLoRAを提案する。
• 参考スコア（独自算出の注目度）: 39.302800055216764
• License:
• Abstract: Low-Rank Adaptation (LoRA) is a parameter-efficient fine-tuning method that has been widely adopted in various downstream applications of LLMs. Together with the Mixture-of-Expert (MoE) technique, fine-tuning approaches have shown remarkable improvements in model capability. However, the coordination of multiple experts in existing studies solely relies on the weights assigned by the simple router function. Lack of communication and collaboration among experts exacerbate the instability of LLMs due to the imbalance load problem of MoE. To address this issue, we propose a novel MoE graph-based LLM fine-tuning framework GraphLoRA, in which a graph router function is designed to capture the collaboration signals among experts by graph neural networks (GNNs). GraphLoRA enables all experts to understand input knowledge and share information from neighbor experts by aggregating operations. Besides, to enhance each expert's capability and their collaborations, we design two novel coordination strategies: the Poisson distribution-based distinction strategy and the Normal distribution-based load balance strategy. Extensive experiments on four real-world datasets demonstrate the effectiveness of our GraphLoRA in parameter-efficient fine-tuning of LLMs, showing the benefits of facilitating collaborations of multiple experts in the graph router of GraphLoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整法であり、LLMの様々な下流応用に広く採用されている。 Mixture-of-Expert(MoE)技術とともに、微調整アプローチは、モデル能力において顕著に改善されている。 しかし、既存の研究における複数の専門家の調整は、単純なルータ関数によって割り当てられた重みにのみ依存する。 専門家間のコミュニケーションや協調の欠如は、MoEの不均衡負荷問題によりLLMの不安定性を悪化させる。 この問題に対処するために,グラフニューラルネットワーク(GNN)を用いて,専門家間の協調信号をキャプチャするグラフルータ関数を設計した,新しいMoEグラフベースLLM微調整フレームワークGraphLoRAを提案する。 GraphLoRAは、すべての専門家が入力知識を理解し、操作を集約することで近隣の専門家からの情報を共有することを可能にする。 さらに,各専門家の能力と協調性を高めるために,ポアソン分布に基づく区別戦略と正規分布に基づく負荷バランス戦略の2つの新しい協調戦略を設計する。 実世界の4つのデータセットに対する大規模な実験は、パラメータ効率の良いLLMの微調整におけるGraphLoRAの有効性を示し、GraphLoRAのグラフルータにおける複数の専門家のコラボレーションを促進する利点を示している。

関連論文リスト

• A Hierarchical Language Model For Interpretable Graph Reasoning [47.460255447561906]
  ノード中心の局所情報と相互作用中心のグローバル構造を捉えるために2ブロックアーキテクチャを用いる階層型グラフ言語モデル(HLM-G)を導入する。 提案手法は,大規模グラフ処理における計算コストを削減しつつ,高い効率性,効率性,ロバスト性で様々なグラフクエリに対処することを可能にする。 多様なグラフ推論およびノード,リンク,グラフレベルの実世界のタスクに対する総合的な評価は,本手法の優位性を強調している。
  論文  参考訳（メタデータ） (2024-10-29T00:28:02Z)
• Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation [9.844598565914055]
  大きな言語モデル(LLM)は強い推論能力を示すが、幻覚や時代遅れの知識のような制限に直面している。 本稿では、サブグラフを検索する知識グラフ(KG)ベースのRetrieval-Augmented Generation(RAG)フレームワークを拡張するSubgraphRAGを紹介する。 提案手法は,高効率かつフレキシブルなサブグラフ検索を実現するために,並列3重装飾機構を備えた軽量多層パーセプトロンを革新的に統合する。
  論文  参考訳（メタデータ） (2024-10-28T04:39:32Z)
• Scalable and Accurate Graph Reasoning with LLM-based Multi-Agents [27.4884498301785]
  GraphAgent-Reasonerは、明示的で正確なグラフ推論のための微調整不要なフレームワークである。 分散グラフ計算理論にインスパイアされた我々のフレームワークは、グラフ問題を複数のエージェント間で分散される小さなノード中心のタスクに分解する。 本フレームワークは,Webページ重要度分析などの実世界のグラフ推論アプリケーションを扱う能力を示す。
  論文  参考訳（メタデータ） (2024-10-07T15:34:14Z)
• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Dual-Channel Latent Factor Analysis Enhanced Graph Contrastive Learning for Recommendation [2.9449497738046078]
  グラフニューラルネットワーク(GNN)は、推薦システムのための強力な学習方法である。 近年,コントラスト学習とGNNの統合は,レコメンデータシステムにおいて顕著な性能を示している。 本研究は,LFA-GCLと呼ばれる潜在因子分析(LFA)強化GCLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-09T03:24:48Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Can we Soft Prompt LLMs for Graph Learning Tasks? [22.286189757942054]
  GraphPrompterは、グラフ情報とLLM(Large Language Models)をソフトプロンプトで整合させるように設計されたフレームワークである。 このフレームワークは、グラフ関連タスクの予測子としてLLMの実質的な機能を明らかにしている。
  論文  参考訳（メタデータ） (2024-02-15T23:09:42Z)
• Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
  大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。 LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。 本稿では、そのような統合を2つの主要なカテゴリに分岐する。
  論文  参考訳（メタデータ） (2023-10-09T07:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。