論文の概要: I$^2$-KAN: Interpretable Intra- and Inter-Modal Multi-Pathway Representation Learning for Multimodal Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2610.31087v1
• Date: Thu, 22 Oct 2026 10:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.328274
• Title: I$^2$-KAN: Interpretable Intra- and Inter-Modal Multi-Pathway Representation Learning for Multimodal Sentiment Analysis
• Title（参考訳）: I$^2$-KAN:マルチモーダル知覚解析のためのインターモーダル・インターモーダル・マルチパス表現学習
• Abstract要約: I$2$-KANは、感情分析のための解釈可能なマルチパスフレームワークである。 CMU-MOSI、CMU-MOSEI、CH-SIMS v2の実験では、全体的な性能が向上した。
• 参考スコア（独自算出の注目度）: 19.356938731249386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal sentiment analysis (MSA) aims to infer sentiment by integrating linguistic, acoustic, and visual information. However, many fusion methods integrate modality-specific representations and cross-modal interactions into joint representations, making it difficult to determine whether predictive utility arises from a modality itself or from its interactions with others. More fundamentally, a modality's standalone predictive utility may not faithfully reflect its interaction-conditioned predictive utility. To address this issue, we propose I$^2$-KAN, an interpretable multi-pathway framework that explicitly maintains intra-modal and pairwise inter-modal information in separate structural pathways. Each pathway is refined by a Task-Decoupled Linear-Gated Denoising Bottleneck (TDL-GDB) to learn compact and task-relevant representations, followed by structured Kolmogorov-Arnold Network fusion that retains explicit pathway associations and supports multi-level interpretation. Extensive experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS v2 demonstrate strong overall performance. Ablation and interpretability analyses consistently show across the three benchmarks that low standalone predictive utility does not necessarily imply low interaction-conditioned predictive utility: a modality that appears weak in isolation can remain informative through pairwise interactions. These findings highlight the interaction-dependent nature of multimodal utility and suggest that modality utility should be characterized from both standalone and interaction-conditioned perspectives.
• Abstract（参考訳）: マルチモーダル感情分析(MSA)は、言語情報、音響情報、視覚情報を統合することで感情を推測することを目的としている。 しかし、多くの融合法は、モダリティ固有の表現と相互モーダル相互作用を結合表現に統合し、予測的効用がモダリティ自体から生じるのか、あるいは他との相互作用から生じるのかを判断することは困難である。 より根本的には、モダリティのスタンドアロン予測ユーティリティは、相互作用条件付き予測ユーティリティを忠実に反映しないかもしれない。 この問題に対処するため,I$^2$-KANを提案する。 各経路は、TDL-GDB (Task-Decoupled Linear-Gated Denoising Bottleneck) によって洗練され、コンパクトでタスク関連のある表現を学習し、続いて、明示的な経路関連を維持し、多段階の解釈をサポートするコルモゴロフ・アルノルドネットワーク融合が構築される。 CMU-MOSI、CMU-MOSEI、CH-SIMS v2の大規模な実験により、全体的な性能が向上した。 アブレーションと解釈可能性の分析は、3つのベンチマークにおいて、低いスタンドアロン予測ユーティリティが必ずしも低い相互作用条件の予測ユーティリティを含まないことを一貫して示している。 これらの知見は, マルチモーダル・ユーティリティの相互作用依存性を強調し, 独立性と相互作用条件の両面からモダリティ・ユーティリティを特徴付けるべきであることを示唆している。

関連論文リスト

• Structured Latent Modeling for Supervised Multimodal Information Decomposition [10.955931279175546]
  本研究では,中間層にコントラストやマスキングの目的を適用可能なフレームワークを導入し,ソースワイドな非可逆正規化フローと,教師付き低ランク潜在変数モデルを提案する。 このアーキテクチャは、共同分布を、共有タスク関連変分、モダリティ特化予測変分、タスク非関連変分に明確に分解する。 最終的に、このフレームワークは構造化された可能性に基づくガイダンスと中間表現学習を結合し、連続したマルチモーダル相互作用を特徴づける実用的な潜在変数レンズを提供する。
  論文  参考訳（メタデータ） (2026-09-28T16:04:24Z)
• Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
  本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。 不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。 AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-07-15T14:30:20Z)
• Explicit Representation Alignment for Multimodal Sentiment Analysis [17.25685888421759]
  マルチモーダル感情分析は、テキストや画像などの異質なモダリティを共同でモデル化することで、人間の感情と感情を理解することを目的としている。 実効マルチモーダル学習の鍵となるボトルネックとして,独立に事前訓練されたモダリティエンコーダ間の表現の不整合を同定する。 視覚的コンテンツを構造化されたテキスト記述に変換するために視覚言語モデル(VLM)を利用する統合マルチモーダル感情分析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-08T07:43:52Z)
• Together, Then Apart: Revisiting Multimodal Survival Analysis via a Min-Max Perspective [22.583594870571336]
  この研究は、アライメントと特徴性の二重レンズによる多モードサバイバル分析を再考する。 We introduced Together-Then-Apart, a unified min-max optimization framework that simultaneously models shared and modality-specific representations。 我々の定式化は、堅牢で、解釈可能で、生物学的に有意義なマルチモーダルサバイバル分析において、アライメントと特異性をどのように共同で達成できるかという新しい理論的視点を提供する。
  論文  参考訳（メタデータ） (2025-11-22T15:10:46Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Structures Meet Semantics: Multimodal Fusion via Graph Contrastive Learning [8.187594234413568]
  SSU(Structure-Semantic Unifier)と呼ばれる新しいフレームワークを提案する。 SSUは、モダリティ固有の構造情報と、拡張マルチモーダル表現のためのクロスモーダルセマンティックグラウンドを統合している。 SSUは一貫して最先端の性能を実現し、計算オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2025-08-24T13:44:54Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。