論文の概要: Fuse To Align: Multimodal Representation Learning for Retrieval via Hypergraph Regularization

• arxiv url: http://arxiv.org/abs/2611.03370v1
• Date: Mon, 02 Nov 2026 16:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:59:56.342768
• Title: Fuse To Align: Multimodal Representation Learning for Retrieval via Hypergraph Regularization
• Title（参考訳）: Fuse to Align:ハイパーグラフ正規化による検索のためのマルチモーダル表現学習
• Abstract要約: マルチモーダル検索は、欠落、騒々しい、あるいは不平等に情報的な見解から補完的な証拠を統合する必要がある。 本稿では,サンプル内および意味的関連サンプル間で観測されたモダリティを接続する訓練時間ハイパーグラフ融合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.4018351446007875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal retrieval must integrate complementary evidence from views that may be missing, noisy, or unequally informative. When a sample provides limited reliable evidence, learning from its views alone can hinder the acquisition of useful retrieval representations. Semantically related training samples may provide complementary observations, yet existing volume-based objectives jointly align modalities within each sample without explicitly enabling information exchange across samples. We therefore propose a training-time hypergraph fusion framework that connects observed modalities both within samples and across semantically related samples, allowing representation learning to draw on evidence beyond an individual sample while leaving the retrieval pipeline unchanged at inference. The framework includes HyVol as a special case and introduces two configurations: wHyVol learns view contribution weights and symmetric semantic affinities, whereas wRHG additionally models typed interactions and participant roles through relational propagation. Missing modalities are omitted rather than imputed, and the hypergraph is discarded after training, incurring no additional inference cost. Experiments on eleven zero-shot video-text and audio-text retrieval benchmarks demonstrate broad improvements with both GRAM and HyperGRAM. Across 17 video benchmark-modality settings evaluated in both retrieval directions, wRHG outperforms GRAM in all 34 comparisons and HyperGRAM in 33 of 34. Mean text-to-video R@1 increases from 63.4 to 68.2 with GRAM and from 64.8 to 68.4 with HyperGRAM, while the largest video-to-text gain reaches 13.3 percentage points on ActivityNet. Under missing-modality evaluation, both weighted configurations retain positive text-to-video gains over GRAM across seven benchmarks at every evaluated missingness rate, even when 90% of clips lack one modality.
• Abstract（参考訳）: マルチモーダル検索は、欠落、騒々しい、あるいは不平等に情報的な見解から補完的な証拠を統合する必要がある。 サンプルが限られた信頼できる証拠を提供する場合、その見解だけでは、有用な検索表現の獲得を妨げる可能性がある。 逐次的に関連するトレーニングサンプルは相補的な観察を提供するが、既存のボリュームベースの目的は、サンプル間の情報交換を明示的に許可することなく、各サンプル内のモダリティを協調的に調整することである。 そこで本研究では,サンプル内および意味的関連サンプル間で観測されたモダリティを接続する訓練時ハイパーグラフ融合フレームワークを提案する。 フレームワークには特別なケースとしてHyVolが含まれており、wHyVolはビューコントリビューションウェイトと対称セマンティック親和性を学ぶ一方、wRHGはリレーショナル伝播を通じて型付き相互作用と参加者の役割をモデル化する。 欠落のモダリティは暗示されるのではなく省略され、ハイパーグラフは訓練後に破棄され、追加の推論コストは発生しない。 11のゼロショットビデオテキストとオーディオテキスト検索ベンチマークの実験は、GRAMとHyperGRAMの両方で広範囲に改善されている。 検索方向と検索方向の両方で評価された17の動画ベンチマーク・モダリティ設定では、wRHGは34のすべての比較でGRAMより優れており、HyperGRAMは34の33。 平均テキスト対ビデオR@1はGRAMで63.4から68.2に増加し、HyperGRAMで64.8から68.4に増加した。 モダリティの欠如による評価では、両方の重み付けされた構成は、7つのベンチマークでGRAMよりもプラスのテキスト・ツー・ビデオゲインを維持している。

関連論文リスト

• Timbre: Reliability-aware harmonic consensus for label-free multimodal test-time rexinforcement learning [57.985367205599324]
  メソッドはマルチモーダルテスト時強化学習のための信頼性を考慮した調和コンセンサスフレームワークである。 メソッドは、適応インスタンスのセットとホールドアウトインスタンスの18のセットのセットで、TTRVを16のベンチマークで上回ります。 これらの結果は、さらなる更新なしにターゲットタスク適応と未確認インスタンスへの転送を改善した。
  論文  参考訳（メタデータ） (2026-10-29T06:15:35Z)
• Retrieving Complementary Evidence for Multi-Hop RAG with Semantic Gain Graphs [35.03045275871606]
  マルチホップ検索強化世代(RAG)は、証拠が組み合わせて有用である文書を見つける必要がある。 SG$2$RAGは、セマンティックゲインによるこの相補性を表すフレームワークである。 オンラインで管理されたパーソナライズされたPageRankは、クエリ関連シードから始まり、最初の検索セットを超えて補完的な証拠をランク付けする。
  論文  参考訳（メタデータ） (2026-10-11T02:30:20Z)
• TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
  テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。 我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
  論文  参考訳（メタデータ） (2026-09-27T09:49:39Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• Representation-Aware Advantage Estimation: Your Reward Model Provides More Than A Scalar Output [31.83856936482982]
  本稿では,RM隠れ状態を利用した表現認識の利点推定手法を提案する。 AlpacaEval 2.0ではArena-Hard-v0.1で最大6.3、AlpacaEval 2.0では8.27、MT-Benchでは0.22である。
  論文  参考訳（メタデータ） (2026-06-09T07:57:50Z)
• Robust Multimodal Recommendation via Graph Retrieval-Enhanced Modality Completion [71.20734649881258]
  実世界のマルチモーダルデータセットは、センサーの故障、アノテーションの不足、プライバシーの制約によって、しばしばモダリティの不完全性に悩まされる。 効果的な解決策の1つはモダリティ補完であり、下流タスクのためのモダリティ完全グラフを提供するために欠落した特徴を再構成する。 本稿では,これらの制限を克服するグラフ検索拡張モード補完フレームワークであるGRE-MCを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:50:52Z)
• Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations? [37.703287009808896]
  微調整は、非重要特徴とターゲットラベルの間に急激な相関を引き起こす可能性がある。 実世界の視覚探索探索(VQA)ベンチマークにおいて,GPT-4oエラーを抽出してベンチマークを作成する。 SpuriVerse上で15のオープンソースLVLMを評価し、最先端のクローズドソースモデルでもかなり苦労していることを発見した。
  論文  参考訳（メタデータ） (2025-06-23T06:11:43Z)
• TSVC:Tripartite Learning with Semantic Variation Consistency for Robust Image-Text Retrieval [11.874979105806243]
  クロスモーダル検索は意味的関連性を通して異なるモダリティの下でデータをマップする。 既存のアプローチでは、データペアが適切に整合しており、広く存在するアノテーションノイズを無視していると暗黙的に仮定している。 本稿では,画像テキスト検索のための意味変化一貫性(TSVC)を用いた三部学習を提案する。
  論文  参考訳（メタデータ） (2025-01-19T04:05:08Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Support-set bottlenecks for video-text representation learning [131.4161071785107]
  ビデオテキスト表現(ノイズコントラスト学習)を学ぶための支配的なパラダイムは厳しすぎる。 本稿では,これらのサンプルを自然に押下する生成モデルを活用することによって,これを緩和する手法を提案する。 提案手法は,MSR-VTT,VATEX,ActivityNet,MSVDにおいて,ビデオ・テキスト・テキスト・ビデオ検索やテキスト・トゥ・ビデオ検索において,他よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-06T15:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。