論文の概要: Synchronous Multi-view Neural Diffusion

• arxiv url: http://arxiv.org/abs/2609.39019v1
• Date: Wed, 30 Sep 2026 05:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.230447
• Title: Synchronous Multi-view Neural Diffusion
• Title（参考訳）: 同期多視点神経拡散
• Abstract要約: マルチビュー学習は、様々なモダリティやビューにまたがる相補性と一貫性を活用することで、より包括的な表現を学ぼうとする。 既存のマルチビュー融合戦略は、ビュー内の進化とビュー間の依存性を同時に考慮することなく、ビュー内およびビュー間融合を独立した段階として扱う。 拡散過程によって駆動される統一力学系として多視点特徴空間を概念化するシンクロナス多視点ニューラル拡散(SynMDiff)を提案する。
• 参考スコア（独自算出の注目度）: 22.686266150800932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-view learning seeks to learn more comprehensive representations by exploiting the complementarity and consistency across diverse modalities or views. However, existing multi-view fusion strategies treat intra- and inter-view fusion as independent stages, without simultaneously considering the evolution within views and the dependency across views. Such an asynchronous fusion paradigm inevitably constrains cross-view interactions due to conflicting view-specific structural inductive biases. As a result, information flow is prone to distortion and compression along intermediate pathways, confining the model to learn within a restricted solution space. To address this, we propose Synchronous Multi-view Neural Diffusion (SynMDiff), which conceptualizes the multi-view feature space as a unified dynamical system driven by a diffusion process. By modeling the diffusion flow across arbitrary dyadic feature interactions in a joint space, SynMDiff enables the concurrent and adaptive intra- and inter-view information fusion. While a direct implementation of this synchronized mechanism incurs prohibitive computational costs, we further introduce an energy-based topological sampling strategy and an Ego-Net style centralized training architecture, ensuring both efficiency and scalability during learning and inference. Due to its conceptual elegance and computational efficacy, evaluations on real-world datasets demonstrate that SynMDiff outperforms the baselines by a large margin.
• Abstract（参考訳）: マルチビュー学習は、様々なモダリティやビューにまたがる相補性と一貫性を活用することで、より包括的な表現を学ぼうとする。 しかし、既存の多視点融合戦略は、ビュー内の進化とビュー間の依存性を同時に考慮することなく、ビュー内およびビュー間融合を独立した段階として扱う。 このような非同期融合パラダイムは、ビュー固有の構造的帰納バイアスの矛盾に起因する、クロスビューの相互作用を必然的に制限する。 その結果、情報フローは中間経路に沿って歪みや圧縮を起こしやすくなり、制限された解空間内で学習するモデルを精査する。 そこで我々は,SynMDiff(Synchronous Multi-view Neural Diffusion)を提案する。 結合空間における任意の次元的特徴相互作用間の拡散フローをモデル化することにより、SynMDiffは同時かつ適応的なビュー内およびビュー間情報融合を可能にする。 この同期機構の直接実装は計算コストを抑えるが、エネルギーベースのトポロジカルサンプリング戦略とEgo-Netスタイルの集中型トレーニングアーキテクチャを導入し、学習と推論の効率性とスケーラビリティを確保する。 概念的エレガンスと計算効率のため、実世界のデータセットによる評価は、SynMDiffがベースラインを大きなマージンで上回ることを示した。

関連論文リスト

• Residual Cross-Modal Fusion Networks for Audio-Visual Navigation [17.19858148800535]
  本稿では、補間モデリングと微粒化アライメントを実現するために、音声と視覚ストリーム間の残差相互作用を導入するクロスモーダル残差融合ネットワークを提案する。 ReplicaとMatterport3Dデータセットの実験では、CRFNは最先端の核融合ベースラインを著しく上回り、より強力なクロスドメインの一般化を実現している。
  論文  参考訳（メタデータ） (2026-01-11T12:11:36Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• HeLoFusion: An Efficient and Scalable Encoder for Modeling Heterogeneous and Multi-Scale Interactions in Trajectory Prediction [11.30785902722196]
  HeLoFusionは、異種およびマルチスケールエージェントインタラクションをモデリングするための効率的でスケーラブルなエンコーダである。 本研究は,マルチスケールおよび異種相互作用を明示的にモデル化した局所性グラウンドアーキテクチャが,動き予測を推し進めるための極めて効果的な戦略であることを実証する。
  論文  参考訳（メタデータ） (2025-09-15T09:19:41Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Alternative Telescopic Displacement: An Efficient Multimodal Alignment Method [3.0903319879656084]
  本稿では,マルチモーダル情報の融合に革命をもたらす機能アライメントに対する革新的なアプローチを提案する。 提案手法では,異なるモードをまたいだ特徴表現の遠隔的変位と拡張の新たな反復的プロセスを用いて,共有特徴空間内の一貫性のある統一表現を導出する。
  論文  参考訳（メタデータ） (2023-06-29T13:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。