論文の概要: Mutual Equilibrium: Multimodal Representation Learning through Reciprocal Feedback

• arxiv url: http://arxiv.org/abs/2609.39456v1
• Date: Wed, 30 Sep 2026 10:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.582474
• Title: Mutual Equilibrium: Multimodal Representation Learning through Reciprocal Feedback
• Title（参考訳）: 相互平衡:相互フィードバックによるマルチモーダル表現学習
• Abstract要約: この研究は相互フィードバックアーキテクチャであるMEQを提案し、異なるモダリティの2つの入力を結合した埋め込みに洗練する。 様々なデータセットにまたがる分類と視覚的グラウンド化タスクによるMEQの利点を示す。
• 参考スコア（独自算出の注目度）: 1.3443690690260937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work proposes a mutual feedback architecture, MEQ, that refines the two inputs, of possibly different modalities, into a pair of coupled embeddings such that each embedding reflects the information of the other. The core idea is to incorporate continuous interchange of information between the two inputs. This idea leads to a mutual feedback architecture consisting of two components whose outputs are fed back into the other. The final output of this model is defined as the fixed point of this interaction. We provide theoretical analysis that offers interpretation of this model as well as design choices to prevent failure cases. We show the benefits of MEQ through classification and visual grounding tasks spanning various datasets. Quantitatively, our model outperforms or shows competitive performance on concatenation-based multimodal classification problems. Qualitatively, the proposed interactive mechanism allows the model to progressively refine the visual grounding when paired with complementary modality, thus demonstrating the power of mutual feedback under such settings.
• Abstract（参考訳）: 本研究は, 相互フィードバックアーキテクチャであるMEQを提案し, 異なるモダリティの2つの入力を, それぞれの埋め込みが他方の情報に反映するように結合した2つの埋め込みに改良する。 中心となる考え方は、2つの入力間の情報の継続的な交換を組み込むことである。 このアイデアは、出力がもう一方にフィードバックされる2つのコンポーネントからなる相互フィードバックアーキテクチャにつながります。 このモデルの最終的な出力はこの相互作用の固定点として定義される。 我々は、このモデルの解釈を提供する理論分析と、障害発生の防止のための設計選択を提供する。 様々なデータセットにまたがる分類と視覚的グラウンド化タスクによるMEQの利点を示す。 定量的に、このモデルは結合に基づくマルチモーダル分類問題において、より優れているか、競争性能を示す。 定量的に、提案した対話機構により、相補的モダリティと組み合わせた場合の視覚的接地を段階的に洗練し、このような設定下での相互フィードバックの力を示すことができる。

関連論文リスト

• DIVA: Harnessing the Representation Divergence in Unified Multimodal Models for Mutual Reinforcement [42.87874090062771]
  統一マルチモーダルモデル(UMM)は、理解と生成の両方において優れた性能を示している。 我々は、異なる監視信号によって誘導される誘導バイアスに起因する根本的な課題を特定する。 本研究では,自己改善型ポストトレーニングフレームワークであるDIVAを提案し,表現の発散を内部のシナジーに変換する。
  論文  参考訳（メタデータ） (2026-05-25T01:17:32Z)
• TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds [17.505701673051405]
  TokenFormerは、以下のイノベーションを取り入れた統合されたレコメンデーションアーキテクチャである。 まず,ボトムフルト・トップ・スライディング(BFTS:Bottom-Full-Top-Sliding)アテンションスキームを導入する。 第2に,非線形相互作用表現(NLIR)を導入し,一方の非線形乗算変換を隠れ状態に適用する。
  論文  参考訳（メタデータ） (2026-04-15T11:25:46Z)
• Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark [69.8473923357969]
  統一マルチモーダルモデルは、視覚的理解と生成を共同で行うことを目的としているが、現在のベンチマークでは、その真の統合を検査することはめったにない。 提案するUni-MMMUは、8つの推論中心領域にまたがる生成と理解の双方向の相乗効果を拡大する総合的なベンチマークである。
  論文  参考訳（メタデータ） (2025-10-15T17:10:35Z)
• Semantic Item Graph Enhancement for Multimodal Recommendation [49.66272783945571]
  マルチモーダルレコメンデーションシステムは、商品のマルチモーダル情報を活用することで、パフォーマンスの向上に注目が集まっている。 先行する手法は、しばしばモダリティ固有のアイテム・イテム意味グラフを生のモダリティの特徴から構築する。 これらのセマンティックグラフは、アイテム間の協調信号のモデリングが不十分ななど、セマンティックな欠陥に悩まされている。
  論文  参考訳（メタデータ） (2025-08-08T09:20:50Z)
• Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
  本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。 本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-07-01T21:43:50Z)
• Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning [35.5851523517487]
  2視点対応学習は通常、一致の信頼性と相対的なポーズを共同で予測するエンドツーエンドネットワークを確立する。 本稿では,既存のモデルの特徴を増強するローカル・フィーチャー・コンセンサス (LFC) プラグイン・ブロックを提案する。 我々は既存のモデルを相互予測の監督を生かした相互損失を伴うシームズネットワークに拡張する。
  論文  参考訳（メタデータ） (2023-08-06T22:20:09Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。