論文の概要: Efficient Quantification of Multimodal Interaction at Sample Level

• arxiv url: http://arxiv.org/abs/2506.17248v1
• Date: Sun, 08 Jun 2025 02:39:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-29 09:28:14.822316
• Title: Efficient Quantification of Multimodal Interaction at Sample Level
• Title（参考訳）: サンプルレベルでのマルチモーダル相互作用の効率的な定量化
• Authors: Zequn Yang, Hongfa Wang, Di Hu,
• Abstract要約: 本稿では,軽量サンプル・ワイド・マルチモーダル・インタラクション (LSMI) 推定器について紹介する。 我々はまず、この最も分解可能な相互作用を定量化するために、適切なポイントワイズ情報尺度を用いて冗長性推定フレームワークを開発する。 そこで本研究では,効率的なエントロピー推定手法を提案する。
• 参考スコア（独自算出の注目度）: 12.373485315058513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactions between modalities -- redundancy, uniqueness, and synergy -- collectively determine the composition of multimodal information. Understanding these interactions is crucial for analyzing information dynamics in multimodal systems, yet their accurate sample-level quantification presents significant theoretical and computational challenges. To address this, we introduce the Lightweight Sample-wise Multimodal Interaction (LSMI) estimator, rigorously grounded in pointwise information theory. We first develop a redundancy estimation framework, employing an appropriate pointwise information measure to quantify this most decomposable and measurable interaction. Building upon this, we propose a general interaction estimation method that employs efficient entropy estimation, specifically tailored for sample-wise estimation in continuous distributions. Extensive experiments on synthetic and real-world datasets validate LSMI's precision and efficiency. Crucially, our sample-wise approach reveals fine-grained sample- and category-level dynamics within multimodal data, enabling practical applications such as redundancy-informed sample partitioning, targeted knowledge distillation, and interaction-aware model ensembling. The code is available at https://github.com/GeWu-Lab/LSMI_Estimator.
• Abstract（参考訳）: 冗長性、特異性、シナジーといったモダリティ間の相互作用は、総合的にマルチモーダル情報の合成を決定する。 これらの相互作用を理解することは、マルチモーダルシステムの情報力学を解析するために重要であるが、それらの正確なサンプルレベルの定量化は、重要な理論的および計算上の課題を示す。 そこで本研究では,ポイントワイド情報理論に基づく軽量サンプルワイドマルチモーダルインタラクション (LSMI) 推定手法を提案する。 我々はまず、この最も分解性が高く測定可能な相互作用を定量化するために、適切なポイントワイズ情報尺度を用いて冗長性推定フレームワークを開発する。 そこで本研究では,効率的なエントロピー推定,特に連続分布におけるサンプルワイド推定に適した一般相互作用推定手法を提案する。 合成および実世界のデータセットに関する大規模な実験は、LSMIの精度と効率を検証している。 重要な点として,本手法はマルチモーダルデータ中の細粒度サンプルレベルおよびカテゴリレベルのダイナミクスを明らかにし,冗長性インフォームドサンプルパーティショニング,目標とする知識蒸留,インタラクション対応モデルアンサンブルといった実用的応用を可能にする。 コードはhttps://github.com/GeWu-Lab/LSMI_Estimatorで公開されている。

関連論文リスト

• Truth in the Few: High-Value Data Selection for Efficient Multi-Modal Reasoning [71.3533541927459]
  アクティベーション推論ポテンシャル(RAP)と呼ばれる新しいデータ選択パラダイムを提案する。 RAPは、真のマルチモーダル推論を刺激する各サンプルのポテンシャルを推定することで、認知サンプルを識別する。 我々のRAP法は、トレーニングデータの9.3%しか使用せず、計算コストを43%以上削減しながら、常に優れた性能を実現している。
  論文  参考訳（メタデータ） (2025-06-05T08:40:24Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
  本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。 逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。 アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2024-12-22T15:16:44Z)
• Correlation-Decoupled Knowledge Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [16.69453837626083]
  本稿では,Multimodal Sentiment Analysis (MSA)タスクのための相関分離型知識蒸留(CorrKD)フレームワークを提案する。 本稿では, クロスサンプル相関を含む包括的知識を伝達し, 欠落した意味論を再構築するサンプルレベルのコントラスト蒸留機構を提案する。 我々は,学生ネットワークの感情決定境界を最適化するために,応答不整合蒸留方式を設計する。
  論文  参考訳（メタデータ） (2024-04-25T09:35:09Z)
• Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning [16.8379583872582]
  我々は,情報ボトルネックの概念を利用する情報理論階層知覚(ITHP)モデルを開発した。 我々は、ITHPがマルチモーダル学習シナリオにおいて重要な情報を一貫して蒸留し、最先端のベンチマークより優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T01:34:44Z)
• Federated Multi-Task Learning on Non-IID Data Silos: An Experimental Study [17.555311732095483]
  FMTLアプローチは、フェデレートラーニング(FL)とマルチタスクラーニング(MTL)の利点を統合する 本稿では,FMTLパラダイムの体系的評価のための新しいフレームワークFMTL-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-02-20T10:13:44Z)
• Multimodal deep representation learning for quantum cross-platform verification [60.01590250213637]
  初期の量子コンピューティングの領域において重要な取り組みであるクロスプラットフォーム検証は、同一のアルゴリズムを実行する2つの不完全な量子デバイスとの類似性を特徴づけようと試みている。 本稿では,この課題におけるデータの形式化が2つの異なるモダリティを具現化する,革新的なマルチモーダル学習手法を提案する。 我々はこれらのモダリティから知識を独立して抽出するマルチモーダルニューラルネットワークを考案し、続いて融合操作により包括的データ表現を生成する。
  論文  参考訳（メタデータ） (2023-11-07T04:35:03Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。