Fugu-MT 論文翻訳(概要): Multimodal Large Language Models for End-to-End Affective Computing: Benchmarking and Boosting with Generative Knowledge Prompting

論文の概要: Multimodal Large Language Models for End-to-End Affective Computing: Benchmarking and Boosting with Generative Knowledge Prompting

arxiv url: http://arxiv.org/abs/2508.02429v1
Date: Mon, 04 Aug 2025 13:49:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:22.365381
Title: Multimodal Large Language Models for End-to-End Affective Computing: Benchmarking and Boosting with Generative Knowledge Prompting
Title（参考訳）: エンド・ツー・エンド・エンド・エンド・エフェクティブ・コンピューティングのためのマルチモーダル大規模言語モデル:ジェネレーティブ・ナレッジ・プロンプティングによるベンチマークとブースティング
Authors: Miaosen Luo, Jiesen Long, Zequn Li, Yunying Yang, Yuncheng Jiang, Sijie Mai,
Abstract要約: マルチモーダル・アフェクティブ・コンピューティング(Multimodal Affective Computing)は、テキスト、ビデオ、オーディオなどの様々なモダリティからの情報を統合することで、人間の感情を認識し、解釈することを目的としている。 MLLM(Multimodal Large Language Models)の最近の進歩はMACの景観を大きく変えている。我々は、音声、視覚、テキストのモーダルを同時に処理できる最先端のオープンソースMLLMのベンチマーク評価を行う。本稿では,MLLMの感情計算能力を高めるために,ジェネレーティブな知識と教師付き微調整を組み合わせた新しいハイブリッド戦略を提案する。
参考スコア（独自算出の注目度）: 11.297069638670749
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Affective Computing (MAC) aims to recognize and interpret human emotions by integrating information from diverse modalities such as text, video, and audio. Recent advancements in Multimodal Large Language Models (MLLMs) have significantly reshaped the landscape of MAC by offering a unified framework for processing and aligning cross-modal information. However, practical challenges remain, including performance variability across complex MAC tasks and insufficient understanding of how architectural designs and data characteristics impact affective analysis. To address these gaps, we conduct a systematic benchmark evaluation of state-of-the-art open-source MLLMs capable of concurrently processing audio, visual, and textual modalities across multiple established MAC datasets. Our evaluation not only compares the performance of these MLLMs but also provides actionable insights into model optimization by analyzing the influence of model architectures and dataset properties. Furthermore, we propose a novel hybrid strategy that combines generative knowledge prompting with supervised fine-tuning to enhance MLLMs' affective computing capabilities. Experimental results demonstrate that this integrated approach significantly improves performance across various MAC tasks, offering a promising avenue for future research and development in this field. Our code is released on https://github.com/LuoMSen/MLLM-MAC.
Abstract（参考訳）: MAC(Multimodal Affective Computing)は、テキスト、ビデオ、オーディオなどの様々なモダリティからの情報を統合することで、人間の感情を認識し、解釈することを目的としている。 MLLM(Multimodal Large Language Models)の最近の進歩は、横断モーダル情報の処理と整合化のための統一的なフレームワークを提供することによってMACのランドスケープを大きく変えた。しかし、複雑なMACタスクのパフォーマンス変動や、アーキテクチャ設計やデータ特性が感情分析にどのように影響するかの理解が不十分であるなど、実践的な課題が残っている。これらのギャップに対処するために、我々は、複数の確立されたMACデータセットにまたがるオーディオ、視覚、テキストのモダリティを並列に処理できる最先端のオープンソースMLLMの、系統的なベンチマーク評価を行う。我々の評価は,これらのMLLMの性能を比較するだけでなく,モデルアーキテクチャやデータセット特性の影響を分析することによって,モデル最適化に関する実用的な知見を提供する。さらに,ジェネレーティブな知識と教師付き微調整を組み合わせることで,MLLMの感情計算能力を向上させるハイブリッド戦略を提案する。実験結果から, この統合手法は様々なMACタスクにおける性能を著しく向上させ, この分野での今後の研究・開発への道のりとして有望であることが明らかとなった。私たちのコードはhttps://github.com/LuoMSen/MLLM-MACで公開されています。

関連論文リスト

True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
論文参考訳（メタデータ） (2025-07-21T17:08:18Z)
Graph-MLLM: Harnessing Multimodal Large Language Models for Multimodal Graph Learning [23.089644598166885]
MLLM(Multimodal Large Language Models)は、多様なモダリティを表現および理解する際、顕著な能力を示す。構造化グラフ情報(マルチモーダルグラフ、MMG)とマルチモーダルを統合することは、ソーシャルネットワーク、ヘルスケア、レコメンデーションシステムといった現実のアプリケーションに不可欠である。既存のMMG学習手法はMLLMの活用法に基づいて3つのパラダイムに分類される。
論文参考訳（メタデータ） (2025-06-12T01:44:46Z)
MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文参考訳（メタデータ） (2025-05-12T17:35:43Z)
ComprehendEdit: A Comprehensive Dataset and Evaluation Framework for Multimodal Knowledge Editing [27.034072044001736]
大規模マルチモーダル言語モデル(MLLM)は、自然言語処理と視覚的理解に革命をもたらした。現在の知識編集評価はスコープが限られており、バイアスがある可能性がある。複数のデータセットから8つのタスクからなる総合的なベンチマークであるComprehendEditを紹介する。
論文参考訳（メタデータ） (2024-12-17T11:41:49Z)
RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
近年,MLLM (Multimodal Large Language Models) が注目されている。検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
論文参考訳（メタデータ） (2024-10-18T03:45:19Z)
MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
論文参考訳（メタデータ） (2024-09-09T17:44:00Z)
A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文参考訳（メタデータ） (2024-08-02T15:14:53Z)
ModaVerse: Efficiently Transforming Modalities with LLMs [25.49713745405194]
ModaVerseはマルチモーダルな大規模言語モデルで、様々なモダリティにまたがってコンテンツを解釈・変換できる。自然言語のレベルで直接動作する新しい入出力(I/O)アライメント機構を提案する。
論文参考訳（メタデータ） (2024-01-12T06:28:54Z)
u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
論文参考訳（メタデータ） (2023-11-09T13:18:27Z)
LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
論文参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。