論文の概要: Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition

• arxiv url: http://arxiv.org/abs/2505.14143v1
• Date: Tue, 20 May 2025 09:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.041572
• Title: Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition
• Title（参考訳）: 感性分析と感情認識のための低ランクエキスパートのマルチモーダル混合
• Authors: Shuo Zhang, Jinsong Zhang, Zhejun Zhang, Lei Li,
• Abstract要約: マルチモーダル感情分析(MSA)とマルチモーダル感情認識(MER)のための新しいMMOLRE法を提案する。 MMoLREは共有およびタスク固有の専門家を用いて、共通のタスク特性とユニークなタスク特性を明確にモデル化し、パラメータの衝突を避ける。 CMU-MOSI と CMU-MOSEI のベンチマーク実験により、MMOLRE が MSA タスクの最先端性能と MER タスクの競合結果を達成することを示した。
• 参考スコア（独自算出の注目度）: 16.14787920254091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-task learning (MTL) enables the efficient transfer of extra knowledge acquired from other tasks. The high correlation between multimodal sentiment analysis (MSA) and multimodal emotion recognition (MER) supports their joint training. However, existing methods primarily employ hard parameter sharing, ignoring parameter conflicts caused by complex task correlations. In this paper, we present a novel MTL method for MSA and MER, termed Multimodal Mixture of Low-Rank Experts (MMoLRE). MMoLRE utilizes shared and task-specific experts to distinctly model common and unique task characteristics, thereby avoiding parameter conflicts. Additionally, inspired by low-rank structures in the Mixture of Experts (MoE) framework, we design low-rank expert networks to reduce parameter and computational overhead as the number of experts increases. Extensive experiments on the CMU-MOSI and CMU-MOSEI benchmarks demonstrate that MMoLRE achieves state-of-the-art performance on the MSA task and competitive results on the MER task.
• Abstract（参考訳）: マルチタスク学習(MTL)は、他のタスクから得られる余分な知識の効率的な伝達を可能にする。 マルチモーダル感情分析 (MSA) とマルチモーダル感情認識 (MER) の相関は, 共同トレーニングを支援する。 しかし、既存の手法では、複雑なタスク相関によって引き起こされるパラメータの衝突を無視し、主にハードパラメータ共有を用いる。 本稿では, MSA と MER のための新しい MTL 手法について述べる。 MMoLREは共有およびタスク固有の専門家を用いて、共通のタスク特性とユニークなタスク特性を明確にモデル化し、パラメータの衝突を避ける。 さらに,Mixture of Experts (MoE)フレームワークの低ランク構造に触発されて,パラメータや計算オーバーヘッドを低減するために,低ランクの専門家ネットワークを設計する。 CMU-MOSI と CMU-MOSEI ベンチマークの大規模な実験により、MMOLRE が MSA タスクの最先端性能と MER タスクの競合結果を達成することを示した。

関連論文リスト

• Collaborative Multi-LoRA Experts with Achievement-based Multi-Tasks Loss for Unified Multimodal Information Extraction [28.800518091590117]
  マルチモーダル情報抽出(MIE)は,マルチメディアソースからの構造化情報抽出に注目されている。 従来の方法は、タスク間で知識を共有する機会を欠いているMIEタスクに別々に取り組みます。 達成度に基づくMIEタスクのマルチタスク損失を考慮した,協調的なマルチLORA専門家を提案する。
  論文  参考訳（メタデータ） (2025-05-08T03:16:32Z)
• Multi-LLM Collaborative Search for Complex Problem Solving [54.194370845153784]
  そこで我々は,Mixture-of-Search-Agents(MoSA)パラダイムを提案する。 MoSAは、独立した探索とLCM間の反復的精錬を組み合わせることで、様々な推論経路を統合する。 モンテカルロ木探索(MCTS)をバックボーンとして使用することにより、複数のエージェントが推論ステップを提案して集約することが可能となり、精度が向上する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:04Z)
• R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
  マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
  論文  参考訳（メタデータ） (2024-11-27T10:57:06Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Multi-Task Dense Prediction via Mixture of Low-Rank Experts [35.11968315125389]
  MLoRE(Mixture-of-Low-Rank-Experts)と呼ばれる,マルチタスクの高密度予測のためのデコーダに着目した新しい手法を提案する。 グローバルなタスク関係をモデル化するために、MLoREは元のMoE構造に汎用的な畳み込みパスを追加し、各タスク機能は、明示的なパラメータ共有のためにこのパスを通ることができる。 実験の結果,MLoREは従来のすべてのメトリクスの最先端手法に比べて優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-26T14:40:17Z)
• Multi-Agent Reinforcement Learning with a Hierarchy of Reward Machines [5.600971575680638]
  Reward Machines (RMs) を用いた協調型マルチエージェント強化学習(MARL)問題の検討 より複雑なシナリオを扱えるRM(MAHRM)階層のマルチエージェント強化学習を提案する。 3つの協調MARLドメインの実験結果から、MAHRMは、他のMARLメソッドよりも高いレベルの事象の事前知識の方が優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-08T06:38:22Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。