論文の概要: PI-MLLM: Psychophysics-Inspired Multimodal Large Language Model for Oddly Satisfying Video Emotion Analysis
- arxiv url: http://arxiv.org/abs/2610.28264v1
- Date: Tue, 20 Oct 2026 14:20:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.852885
- Title: PI-MLLM: Psychophysics-Inspired Multimodal Large Language Model for Oddly Satisfying Video Emotion Analysis
- Title（参考訳）: PI-MLLM:ビデオ感情分析を満足させる心理物理学にインスパイアされた多モーダル大言語モデル
- Abstract要約: Oddly Satisfying Videos (OSVs)は、反復的な動き、視覚的触覚、ASMRのような音を通じて、強い視聴者の反応を誘発する。
本稿では,モダリティ・スペクティヴ・ダイナミクス・アライメント(MSDA,Modality-Specific Dynamics Alignment)とCoalition-based Audio-Visual Attribution(CAVA)を統合した,サイコフィックにインスパイアされたマルチモーダル言語モデルPI-MLLMを提案する。
PI-MLLMは、視聴者側の感情予測と知覚的理解の質の両方を改善し、映像感情分析における物理的な感覚的手がかりの価値を示唆する。
- 参考スコア（独自算出の注目度）: 54.25523147124519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Oddly Satisfying Videos (OSVs) can evoke strong viewer responses through repetitive motion, visual tactility, and ASMR-like sounds despite containing few explicit semantic emotion cues. This makes OSVs a challenging setting for Video Emotion Analysis (VEA), since most existing methods focus on semantic video content and under-model the physical sensory dynamics that shape viewer responses. To support Oddly Satisfying Video Emotion Analysis (OSVEA), we construct the Oddly Satisfying Video Dataset (OSVD), comprising 12,000 annotated 5-second clips. Each clip provides viewer-emotion labels under video-only, audio-only, and audio-visual conditions, together with explanations grounded in visual and acoustic sensory evidence. Building on OSVD, we propose PI-MLLM, a psychophysics-inspired multimodal large language model that integrates Modality-Specific Dynamics Alignment (MSDA) and Coalition-Based Audio-Visual Attribution (CAVA). MSDA uses auxiliary prediction objectives to align modality representations with visual motion and acoustic energy-onset dynamics. CAVA evaluates emotion scores across modality coalitions and applies Shapley attribution to identify the dominant modality and determine whether visual and auditory evidence is synergistic or conflicting. Experiments show that PI-MLLM improves both viewer-side emotion prediction and sensory-grounded explanation quality, suggesting the value of physical sensory cues to video emotion analysis.
- Abstract（参考訳）: Oddly Satisfying Videos (OSVs) は、明示的な意味的感情の手がかりがほとんどないにもかかわらず、反復的な動き、視覚的触覚、ASMRのような音を通じて、強い視聴者の反応を誘発することができる。
既存のほとんどの方法は、セマンティックなビデオコンテンツと、視聴者の反応を形作る物理的な感覚力学をモデル化するものである。
Oddly Satisfying Video Emotion Analysis (OSVEA) をサポートするため、12,000本の注釈付き5秒クリップからなるOddly Satisfying Video Dataset (OSVD) を構築した。
各クリップは、ビデオのみ、オーディオのみ、およびオーディオ視覚条件下での視聴者感情ラベルと、視覚的および音響的感覚証拠に基づく説明を提供する。
OSVD 上に構築した PI-MLLM は,モダリティ・特化ダイナミクス・アライメント (MSDA) とコーディション・ベース・オーディオ・ビジュアル・アトリビューション (CAVA) を統合した,サイコフィックにインスパイアされた多モーダルな言語モデルである。
MSDAは、モーダリティ表現を視覚運動と音響エネルギーオンセットダイナミクスと整合させる補助的予測目標を使用する。
CAVAは、モダリティ間の感情スコアを評価し、Shapley属性を適用して、支配的なモダリティを特定し、視覚的および聴覚的証拠が相乗的であるか矛盾しているかを決定する。
実験により、PI-MLLMは視聴者側の感情予測と知覚的説明品質の両方を改善し、映像感情分析における物理的な感覚手がかりの価値を示唆している。
関連論文リスト
- Towards Accurate Emotion-Attributed Video Captioning via Fine-grained Emotion-Cause Pair Extraction [47.762139272076126]
Emotional Video Captioning(EVC)は、ビデオの事実的正確で感情的なリッチな記述を生成することを目的とした課題である。
既存のECV手法では、全体的視覚的特徴を利用して、世界的感情的手がかりを抽出し、マルチモーダルな特徴を集約し、感情的なキャプション生成を導く。
本稿では,感情対応ビデオキャプションのための微粒な感情原因対抽出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-07T10:43:41Z) - FACE-net: Factual Calibration and Emotion Augmentation for Retrieval-enhanced Emotional Video Captioning [81.33341786837974]
Emotional Video Captioning (EVC) は、ビデオで表現される本質的な感情で事実を記述することを目的とした、新たなタスクである。
FActual and Emotion Augmentation (FACE-net) を用いた検索強化フレームワークを提案する。
FACE-netは、事実と感情のセマンティクスを協調的にマイニングし、生成のための適応的で正確なガイダンスを提供する。
論文 参考訳（メタデータ） (2026-03-18T07:53:15Z) - Learning to Hear by Seeing: It's Time for Vision Language Models to Understand Artistic Emotion from Sight and Sound [21.4061944104446]
芸術は視覚的要素と聴覚的要素のジョイントデザインを通じて感情を伝えるが、初期の作品のほとんどは人間中心または単一モダリティである。
本稿では,VLMを限定的な事前学習で視聴する2段階のフレームワークであるVision Anchored Audio-Visual Emotion LLM(VAEmotionLLM)を紹介する。
VAEmotionLLMはArtEmoBenchmarkの最先端の結果を達成し、オーディオのみ、ビジュアルのみ、オーディオ視覚ベースラインを上回ります。
論文 参考訳（メタデータ） (2025-11-15T07:42:02Z) - V-HUB: A Visual-Centric Humor Understanding Benchmark for Video LLMs [72.59885036868499]
v-HUBは視覚中心のビデオユーモア理解ベンチマークである。
各ビデオクリップは、キャプション、説明、説明を含むリッチなアノテーションとペアリングされる。
我々は,特殊なビデオLLMから音声処理が可能な汎用OmniLLMまで,MLLMの多様なセットを評価する。
論文 参考訳（メタデータ） (2025-09-30T04:33:52Z) - Emotion-Qwen: A Unified Framework for Emotion and Vision Understanding [26.36195886824082]
Emotion-Qwenは、堅牢な感情理解と一般的な推論機能を維持するために同時に設計された統合マルチモーダルフレームワークである。
我々は,40万本以上のビデオクリップに詳細な文脈対応感情記述を付加した大規模バイリンガル・リソースであるビデオ感情推論データセットを開発した。
論文 参考訳（メタデータ） (2025-05-10T16:15:26Z) - Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。
しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。
テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
論文 参考訳（メタデータ） (2024-12-12T11:30:41Z) - SPECTRUM: Semantic Processing and Emotion-informed video-Captioning Through Retrieval and Understanding Modalities [0.7510165488300369]
本稿では,検索・理解モダリティ(SPECTRUM)フレームワークを用いたセマンティック・プロセッシングと感情インフォームド・ビデオキャプションを提案する。
SPECTRUMは、VTAI(Visual Text Attribute Investigation)を用いてマルチモーダルなセマンティクスと感情的なテーマを特定し、記述的キャプションの向きを決定する。
ビデオ・トゥ・テキスト検索機能とビデオコンテンツの多面的特性を利用して、候補キャプションの感情的確率を推定する。
論文 参考訳（メタデータ） (2024-11-04T10:51:47Z) - How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。
Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。
Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
論文 参考訳（メタデータ） (2022-10-18T17:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。