論文の概要: Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction

• arxiv url: http://arxiv.org/abs/2505.06303v1
• Date: Thu, 08 May 2025 03:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.767162
• Title: Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction
• Title（参考訳）: 達成型マルチタスクロスを用いた統合マルチモーダル情報抽出のための協調型マルチロラエキスパート
• Authors: Li Yuan, Yi Cai, Xudong Shen, Qing Li, Qingbao Huang, Zikun Deng, Tao Wang,
• Abstract要約: マルチモーダル情報抽出(MIE)は,マルチメディアソースからの構造化情報抽出に注目されている。 従来の方法は、タスク間で知識を共有する機会を欠いているMIEタスクに別々に取り組みます。 達成度に基づくMIEタスクのマルチタスク損失を考慮した,協調的なマルチLORA専門家を提案する。
• 参考スコア（独自算出の注目度）: 28.800518091590117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Information Extraction (MIE) has gained attention for extracting structured information from multimedia sources. Traditional methods tackle MIE tasks separately, missing opportunities to share knowledge across tasks. Recent approaches unify these tasks into a generation problem using instruction-based T5 models with visual adaptors, optimized through full-parameter fine-tuning. However, this method is computationally intensive, and multi-task fine-tuning often faces gradient conflicts, limiting performance. To address these challenges, we propose collaborative multi-LoRA experts with achievement-based multi-task loss (C-LoRAE) for MIE tasks. C-LoRAE extends the low-rank adaptation (LoRA) method by incorporating a universal expert to learn shared multimodal knowledge from cross-MIE tasks and task-specific experts to learn specialized instructional task features. This configuration enhances the model's generalization ability across multiple tasks while maintaining the independence of various instruction tasks and mitigating gradient conflicts. Additionally, we propose an achievement-based multi-task loss to balance training progress across tasks, addressing the imbalance caused by varying numbers of training samples in MIE tasks. Experimental results on seven benchmark datasets across three key MIE tasks demonstrate that C-LoRAE achieves superior overall performance compared to traditional fine-tuning methods and LoRA methods while utilizing a comparable number of training parameters to LoRA.
• Abstract（参考訳）: マルチモーダル情報抽出(MIE)は,マルチメディアソースからの構造化情報抽出に注目されている。 従来の方法は、タスク間で知識を共有する機会を欠いているMIEタスクに別々に取り組みます。 近年のアプローチでは、これらのタスクを視覚適応型命令ベースT5モデルを用いて生成問題に統一し、フルパラメータの微調整によって最適化されている。 しかし、この手法は計算集約的であり、マルチタスクの微調整はしばしば勾配の衝突に直面し、性能を制限している。 これらの課題に対処するために、MIEタスクのための達成型マルチタスク損失(C-LoRAE)を用いた協調型マルチローラ専門家を提案する。 C-LoRAEは、クロスMIEタスクとタスク固有の専門家から共有マルチモーダル知識を学習し、特別指導タスクの特徴を学習するために普遍的な専門家を組み込むことにより、ローランク適応(LoRA)法を拡張している。 この構成は、様々な命令タスクの独立性を維持しながら、複数のタスクにわたるモデルの一般化能力を向上し、勾配競合を緩和する。 さらに,MIEタスクにおけるトレーニングサンプル数の変化による不均衡を解消し,タスク間のトレーニング進捗のバランスをとるために,達成に基づくマルチタスク損失を提案する。 3つの主要なMIEタスクにまたがる7つのベンチマークデータセットの実験結果から、C-LoRAEは従来の微調整法やLoRAメソッドと比較して、LoRAに匹敵する数のトレーニングパラメータを使用しながら、全体的なパフォーマンスを向上することが示された。

関連論文リスト

• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• Task Selection and Assignment for Multi-modal Multi-task Dialogue Act Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
  マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。 これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。 本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T14:51:51Z)
• Multi-task Hierarchical Adversarial Inverse Reinforcement Learning [40.60364143826424]
  マルチタスク・イミテーション・ラーニング (MIL) は、マルチタスクの専門家による実演に基づくタスクの配布が可能な政策を訓練することを目的としている。 既存のMILアルゴリズムは、複雑な長距離タスクにおいて、データ効率の低下とパフォーマンスの低下に悩まされている。 階層的に構造化されたマルチタスクポリシーを学習するために,MH-AIRL(Multi-task Hierarchical Adversarial Inverse Reinforcement Learning)を開発した。
  論文  参考訳（メタデータ） (2023-05-22T01:58:40Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。