論文の概要: FLUID: Flow-Latent Unified Integration via Token Distillation for Expert Specialization in Multimodal Learning

• arxiv url: http://arxiv.org/abs/2508.07264v1
• Date: Sun, 10 Aug 2025 09:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.563097
• Title: FLUID: Flow-Latent Unified Integration via Token Distillation for Expert Specialization in Multimodal Learning
• Title（参考訳）: FLUID:マルチモーダル学習におけるエキスパートスペシャライゼーションのためのトケン蒸留によるフローレイテンシ統合
• Abstract要約: token Distillation for Expert Components を用いた textscFLUID-Flow-Latent Unified Integration を提案する。 textscFLUID は,(1) emphQ-transforms, 学習可能なクエリトークン, (2) コントラストアライメントによる相互整合を強制する2段階の融合スキーム, (3) 予測時の軽量でロードバランスのMixture-of-Experts の3要素に寄与する。
• 参考スコア（独自算出の注目度）: 1.912429179274357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal classification requires robust integration of visual and textual signals, yet common fusion strategies are brittle and vulnerable to modality-specific noise. In this paper, we present \textsc{FLUID}-Flow-Latent Unified Integration via Token Distillation for Expert Specialization, a principled token-level pipeline that improves cross-modal robustness and scalability. \textsc{FLUID} contributes three core elements: (1) \emph{Q-transforms}, learnable query tokens that distill and retain salient token-level features from modality-specific backbones; (2) a two-stage fusion scheme that enforces cross-modal consistency via contrastive alignment and then performs adaptive, task-aware fusion through a gating mechanism and a \emph{Q-bottleneck} that selectively compresses information for downstream reasoning; and (3) a lightweight, load-balanced Mixture-of-Experts at prediction time that enables efficient specialization to diverse semantic patterns. Extensive experiments demonstrate that \textsc{FLUID} attains \(91\%\) accuracy on the GLAMI-1M benchmark, significantly outperforming prior baselines and exhibiting strong resilience to label noise, long-tail class imbalance, and semantic heterogeneity. Targeted ablation studies corroborate both the individual and synergistic benefits of the proposed components, positioning \textsc{FLUID} as a scalable, noise-resilient solution for multimodal product classification.
• Abstract（参考訳）: マルチモーダル分類には、視覚信号とテキスト信号の堅牢な統合が必要であるが、一般的な融合戦略は脆く、モダリティ固有のノイズに対して脆弱である。 本稿では, クロスモーダルなロバスト性とスケーラビリティを向上するトークンレベルパイプラインである Token Distillation for Expert Specialization を通じて, \textsc{FLUID}-Flow-Latent Unified Integration を提案する。 1 \emph{Q-transforms}、学習可能なクエリトークンで、モダリティ固有のバックボーンから有意なトークンレベルの特徴を抽出し保持する (2) コントラストアライメントを通じて相互整合を強制し、ゲーティング機構を介して適応的でタスク認識の融合を実行する2段階の融合スキーム、そして下流の推論のために情報を選択的に圧縮する \emph{Q-bottleneck} 、(3) 軽量でロードバランスのMixture-of-Experts の予測時に、様々な意味パターンへの効率的な特殊化を可能にする。 広範な実験により、GLAMI-1Mベンチマークにおいて、 \textsc{FLUID} が \(91\%\) の精度を達成し、事前ベースラインを著しく上回り、ラベルノイズ、ロングテールクラス不均衡、セマンティックヘテロジニティに対する強い耐性を示すことが示された。 ターゲットアブレーション研究は、提案した成分の個人的および相乗効果の両方を相関させ、マルチモーダル製品分類のためのスケーラブルで耐雑音性のあるソリューションとして \textsc{FLUID} を位置づけた。

関連論文リスト

• More Perspectives, Stronger Signals: Multi-Perspective Enhancement and Progressive Fusion for Multimodal Entity Representation Learning [6.4639268448773946]
  多様な入力から強い信号を抽出するために、プログレッシブフュージョンとマルチパースペクティブエンハンスメントを相乗化する統合フレームワークであるPrismFを提案する。 PrismFは、各モダリティを相補的なビューに分解するマルチパースペクティブメカニズムを通じて、細粒なモーダル内セマンティクスを強化する。 実験の結果、PrismFはMRRの4.04%とKVC16KのHits@1の11.17%の相対的な改善を含む、最も高い総合的なパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2026-08-29T08:29:43Z)
• Deep Multimodal Fusion Detection through Spatial Mask and Channel Fusion [4.909774323398836]
  本稿では,モダリティオブジェクト検出の堅牢性向上を目的とした,注意駆動補足型リサンプリングフレームワークを提案する。 共有チャネル空間的注意機構に基づいて,まずセマンティックマスク交換を導入し,モダリティの境界を積極的に混合する。 そこで我々は,チャネルワイドで学習可能な方法で特徴をサンプリングし,集約するための学習可能なチャネルコンペティションを提案する。
  論文  参考訳（メタデータ） (2026-08-03T11:51:12Z)
• Towards Modality-imbalanced Federated Graph Learning: A Data Synthesis-based Approach [40.58607651570368]
  MultiModal Federated Graph Learning (MM-FGL)は、自然な協調学習パラダイムを提供するが、その実践的展開は2つのモジュラリティ不均衡の粒度に挑戦されている。 我々は、暗黙グラフ対応の潜在意味表現問題として、モダリティ不均衡MM-FGLを定式化する。 3つのコアコンポーネントを統合したFedMGS(Federated Modality-aware Graph Synthesis)を提案する。
  論文  参考訳（メタデータ） (2026-06-18T15:40:55Z)
• Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
  重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。 マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。 SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
  論文  参考訳（メタデータ） (2026-06-01T15:58:13Z)
• Omnimodal Dataset Distillation via High-order Proxy Alignment [59.74134776126595]
  本稿では,プロキシ構造を用いて高次クロスモーダルアライメントをキャプチャするHoPAを提案する。 本手法は,一対のモダリティモデリングの複雑さを回避し,不均一なモダリティをまたいだスケーラブルなプロキシ解析を可能にする。
  論文  参考訳（メタデータ） (2026-04-12T14:47:41Z)
• Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
  マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。 従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。 我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
  論文  参考訳（メタデータ） (2026-03-07T03:58:48Z)
• Feature-level Interaction Explanations in Multimodal Transformers [1.7101146971136896]
  マルチモーダルトランスフォーマーは、異なるモーダルが共同で意思決定をどのように支援するかを明確にすることなく、予測を生成する。 本稿では,凍結した事前学習エンコーダからトークン/パッチシーケンスを直接操作する構造化Mixture-of-Experts層であるFeature-level I2MoEを提案する。 我々は,帰属とトップK%マスキングを組み合わせ,忠実度を評価する専門的な説明パイプラインを開発する。
  論文  参考訳（メタデータ） (2026-03-04T18:24:31Z)
• Multimodal Mixture-of-Experts with Retrieval Augmentation for Protein Active Site Identification [35.29329758342847]
  本稿では,タンパク質活性部位同定のための最初の検索拡張フレームワークであるMultimodal Mixture-of-Experts with Retrieval Augmentation (MERA)を紹介する。 活性部位の予測ではAUPRCが90%,ペプチド結合部位の同定では有意な増加を示した。
  論文  参考訳（メタデータ） (2026-03-02T06:40:04Z)
• SKANet: A Cognitive Dual-Stream Framework with Adaptive Modality Fusion for Robust Compound GNSS Interference Classification [47.20483076887704]
  グローバルナビゲーション衛星システム(GNSS)は、洗練された妨害による脅威の増大に直面している。 時間周波数画像(TFI)とパワースペクトル密度(PSD)を統合した2重ストリームアーキテクチャに基づく認知的ディープラーニングフレームワークを提案する。 SKANetは96.99%の精度を達成し、複合妨害分類において優れたロバスト性を示した。
  論文  参考訳（メタデータ） (2026-01-19T07:42:45Z)
• Dual-granularity Sinkhorn Distillation for Enhanced Learning from Long-tailed Noisy Data [67.25796812343454]
  ディープラーニングのための実世界のデータセットは、クラス不均衡とラベルノイズの共起的な課題にしばしば悩まされる。 蒸留と相補的な知見の統合により二重強靭性を高める新しいフレームワークであるD-SINKを提案する。 ベンチマークデータセットの実験では、D-SINKはロバスト性を大幅に向上し、長い尾のノイズデータから学習する際の強い経験的性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-10-09T13:05:27Z)
• Beyond Simple Fusion: Adaptive Gated Fusion for Robust Multimodal Sentiment Analysis [27.11612547025828]
  textbfAdaptive textbfGated textbfFusion textbfNetwork。 CMU-MOSIとCMU-MOSEIの実験により、AGFNは精度において強いベースラインを著しく上回り、頑健なパフォーマンスを持つ微妙な感情を効果的に識別することを示した。
  論文  参考訳（メタデータ） (2025-10-02T05:05:41Z)
• Joint Learning using Mixture-of-Expert-Based Representation for Enhanced Speech Generation and Robust Emotion Recognition [54.44798086835314]
  音声感情認識(SER)は感情認識音声システム構築において重要な役割を担っているが,その性能は雑音下で著しく低下する。 本稿では, フレームワイド・エキスパート・ルーティングを自己教師付き音声表現に応用した, フレキシブルMTLフレームワークSparse Mixture-of-Experts Representation Integration Technique (Sparse MERIT)を提案する。 MSP-Podcastコーパスの実験では、Sparse MERITはSERとSEの両方のタスクのベースラインモデルより一貫して優れていた。
  論文  参考訳（メタデータ） (2025-09-10T10:18:56Z)
• FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [50.438552588818]
  textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。 Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。 マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
  論文  参考訳（メタデータ） (2025-07-07T04:09:45Z)
• Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
  高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。 1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。 本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
  論文  参考訳（メタデータ） (2025-05-10T12:58:15Z)
• Spectrum-based Modality Representation Fusion Graph Convolutional Network for Multimodal Recommendation [7.627299398469962]
  本稿では,新しいスペクトルベースのモダリティ表現グラフレコメンデータを提案する。 モダリティノイズを同時に抑制しながら、ユニモーダルとフュージョンの両方の好みを捉えることを目的としている。 実世界の3つのデータセットを用いた実験により,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2024-12-19T15:53:21Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Deep Common Feature Mining for Efficient Video Semantic Segmentation [25.851900402539467]
  ビデオセマンティックセグメンテーションのためのDeep Common Feature Mining(DCFM)を提案する。 DCFMは、機能を2つの補完的なコンポーネントに明示的に分解する。 自己教師付き損失関数を組み込んで,クラス内特徴の類似性を強化し,時間的整合性を高める。
  論文  参考訳（メタデータ） (2024-03-05T06:17:59Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。