論文の概要: Efficient Quantification of Multimodal Interaction at Sample Level

• arxiv url: http://arxiv.org/abs/2506.17248v1
• Date: Sun, 08 Jun 2025 02:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.822316
• Title: Efficient Quantification of Multimodal Interaction at Sample Level
• Title（参考訳）: サンプルレベルでのマルチモーダル相互作用の効率的な定量化
• Authors: Zequn Yang, Hongfa Wang, Di Hu,
• Abstract要約: 本稿では,軽量サンプル・ワイド・マルチモーダル・インタラクション (LSMI) 推定器について紹介する。 我々はまず、この最も分解可能な相互作用を定量化するために、適切なポイントワイズ情報尺度を用いて冗長性推定フレームワークを開発する。 そこで本研究では,効率的なエントロピー推定手法を提案する。
• 参考スコア（独自算出の注目度）: 12.373485315058513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactions between modalities -- redundancy, uniqueness, and synergy -- collectively determine the composition of multimodal information. Understanding these interactions is crucial for analyzing information dynamics in multimodal systems, yet their accurate sample-level quantification presents significant theoretical and computational challenges. To address this, we introduce the Lightweight Sample-wise Multimodal Interaction (LSMI) estimator, rigorously grounded in pointwise information theory. We first develop a redundancy estimation framework, employing an appropriate pointwise information measure to quantify this most decomposable and measurable interaction. Building upon this, we propose a general interaction estimation method that employs efficient entropy estimation, specifically tailored for sample-wise estimation in continuous distributions. Extensive experiments on synthetic and real-world datasets validate LSMI's precision and efficiency. Crucially, our sample-wise approach reveals fine-grained sample- and category-level dynamics within multimodal data, enabling practical applications such as redundancy-informed sample partitioning, targeted knowledge distillation, and interaction-aware model ensembling. The code is available at https://github.com/GeWu-Lab/LSMI_Estimator.
• Abstract（参考訳）: 冗長性、特異性、シナジーといったモダリティ間の相互作用は、総合的にマルチモーダル情報の合成を決定する。 これらの相互作用を理解することは、マルチモーダルシステムの情報力学を解析するために重要であるが、それらの正確なサンプルレベルの定量化は、重要な理論的および計算上の課題を示す。 そこで本研究では,ポイントワイド情報理論に基づく軽量サンプルワイドマルチモーダルインタラクション (LSMI) 推定手法を提案する。 我々はまず、この最も分解性が高く測定可能な相互作用を定量化するために、適切なポイントワイズ情報尺度を用いて冗長性推定フレームワークを開発する。 そこで本研究では,効率的なエントロピー推定,特に連続分布におけるサンプルワイド推定に適した一般相互作用推定手法を提案する。 合成および実世界のデータセットに関する大規模な実験は、LSMIの精度と効率を検証している。 重要な点として,本手法はマルチモーダルデータ中の細粒度サンプルレベルおよびカテゴリレベルのダイナミクスを明らかにし,冗長性インフォームドサンプルパーティショニング,目標とする知識蒸留,インタラクション対応モデルアンサンブルといった実用的応用を可能にする。 コードはhttps://github.com/GeWu-Lab/LSMI_Estimatorで公開されている。

関連論文リスト

• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。