論文の概要: MLaGA: Multimodal Large Language and Graph Assistant

• arxiv url: http://arxiv.org/abs/2506.02568v1
• Date: Tue, 03 Jun 2025 07:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.412211
• Title: MLaGA: Multimodal Large Language and Graph Assistant
• Title（参考訳）: MLaGA: マルチモーダル大言語とグラフアシスタント
• Authors: Dongzhe Fan, Yi Fang, Jiajin Liu, Djellel Difallah, Qiaoyu Tan,
• Abstract要約: 大規模言語モデル (LLMs) は, グラフ構造化データ解析の進歩に有効であることを示す。 複雑なグラフ構造やマルチモーダル属性の推論を容易にするため,LLM機能を拡張する革新的なモデルであるMultimodal Large Language and Graph Assistant (MLaGA)を導入する。
• 参考スコア（独自算出の注目度）: 9.985787670804823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated substantial efficacy in advancing graph-structured data analysis. Prevailing LLM-based graph methods excel in adapting LLMs to text-rich graphs, wherein node attributes are text descriptions. However, their applications to multimodal graphs--where nodes are associated with diverse attribute types, such as texts and images--remain underexplored, despite their ubiquity in real-world scenarios. To bridge the gap, we introduce the Multimodal Large Language and Graph Assistant (MLaGA), an innovative model that adeptly extends LLM capabilities to facilitate reasoning over complex graph structures and multimodal attributes. We first design a structure-aware multimodal encoder to align textual and visual attributes within a unified space through a joint graph pre-training objective. Subsequently, we implement a multimodal instruction-tuning approach to seamlessly integrate multimodal features and graph structures into the LLM through lightweight projectors. Extensive experiments across multiple datasets demonstrate the effectiveness of MLaGA compared to leading baseline methods, achieving superior performance in diverse graph learning tasks under both supervised and transfer learning scenarios.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は, グラフ構造化データ解析の進歩に有効であることを示す。 LLMベースのグラフ手法は、LLMをテキストリッチグラフに適応する際に優れており、ノード属性はテキスト記述である。 しかし、それらのマルチモーダルグラフへの応用 – ノードはテキストや画像など、さまざまな属性タイプに関連付けられている – は、現実のシナリオで多用されているにもかかわらず、未解決のまま残されている。 このギャップを埋めるために,複雑なグラフ構造やマルチモーダル属性の推論を容易にするため,LLM機能を拡張する革新的なモデルであるMultimodal Large Language and Graph Assistant (MLaGA)を導入する。 まず,テキスト属性と視覚属性を統一された空間内にアライメントする構造対応マルチモーダルエンコーダを,ジョイントグラフの事前学習目的により設計する。 その後,軽量プロジェクタによるマルチモーダル特徴とグラフ構造をシームレスに統合するマルチモーダル命令チューニング手法を実装した。 複数のデータセットにわたる大規模な実験は、主要なベースライン手法と比較してMLaGAの有効性を示し、教師付きおよび転送学習シナリオの両方の下で様々なグラフ学習タスクにおいて優れた性能を達成する。

関連論文リスト

• GRAPHGPT-O: Synergistic Multimodal Comprehension and Generation on Graphs [34.076036577516895]
  テキストと画像は通常相互接続され、マルチモーダル属性グラフ(MMAG)を形成する MLLMが関係情報 (textiti.e. graph structure) と意味情報 (textiti.e. texts and image) をこのようなグラフに組み込んで、マルチモーダルな理解と生成を行う方法が検討されている。 我々は,MMAGにおける全多モーダル理解と生成を支援するGraphGPT-oを提案する。
  論文  参考訳（メタデータ） (2025-02-17T15:35:36Z)
• UniGraph2: Learning a Unified Embedding Space to Bind Multimodal Graphs [34.48393396390799]
  マルチモーダルグラフ上での汎用的な表現学習を可能にする新しいクロスドメイングラフ基盤モデルを提案する。 UniGraph2は、グラフニューラルネットワーク(GNN)と共にモダリティ固有のエンコーダを使用して、統一された低次元埋め込み空間を学習する。 我々は,UniGraph2が表現学習,伝達学習,マルチモーダル生成タスクなどのタスクにおいて,最先端モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-02T14:04:53Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Exploring Graph Structure Comprehension Ability of Multimodal Large Language Models: Case Studies [7.067145619709089]
  本研究では,グラフの可視化が大規模言語モデル(LLM)の性能に与える影響について検討する。 本実験は,純粋テキストグラフ表現に対するマルチモーダルアプローチの有効性を比較した。
  論文  参考訳（メタデータ） (2024-09-13T14:26:58Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model [73.38800189095173]
  本研究はマルチモーダルLLMのマルチモーダルダイアグラム解析機能を強化することに焦点を当てる。 高品質な論文のLatexソースファイルを解析することにより、マルチモーダルなダイアグラム理解データセットM-Paperを慎重に構築する。 M-Paperは、画像やラテックス符号のフォーマットの数字や表を含む、複数の科学的図の合同理解をサポートする最初のデータセットである。
  論文  参考訳（メタデータ） (2023-11-30T04:43:26Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。