論文の概要: When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval

• arxiv url: http://arxiv.org/abs/2610.35125v1
• Date: Mon, 26 Oct 2026 10:00:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.81983
• Title: When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval
• Title（参考訳）: 融合順序が重要なとき:クロスモーダル検索のためのプログレッシブ・マルチモーダル表現学習に関する考察
• Abstract要約: 本稿では,UniPRO(Uniified Progressive Learning Representation for Order Analysis)を紹介する。 テストした1対1のスケジュールは、スタックド・フュージョンよりも優れており、一方、1対1のフュージョン内での順序の変更は、性能も変化している。 MSR-VTT-9k で評価された命令のうち,97.9R@1 である。
• 参考スコア（独自算出の注目度）: 12.731902555313082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal video retrieval combines visual, acoustic, and speech information, yet how their fusion order should depend on the data and the retrieval query remains unclear. We introduce Unified Progressive Representation Learning for Order Analysis, or UniPRO, to investigate this question through configurable fusion schedules with matched model components and training settings. Starting from text-to-video retrieval, we find that the tested one-by-one schedules outperform stacked fusion, while changing the order within one-by-one fusion also changes performance. To guide order selection, we examine two complementary considerations: learning difficulty under unequal modality availability and preservation of information relevant to the query. Complete-modality controls show that missing inputs alone cannot explain order sensitivity. At R@1, text and audio retrieval favor schedules that introduce the modality matching the query last. Controlled speech missingness during training and testing reverses the preferred order in both R@1 and SumR, with different crossover points. These findings motivate balancing the two considerations when selecting a fusion path. We then use them to predict a visual-last schedule for image queries, which achieves 97.9 R@1, the highest among the evaluated orders on MSR-VTT-9k. Main experiments on four text-to-video benchmarks establish the effectiveness of UniPRO, with component ablations assessing its supporting design. Together, the results identify fusion order as a task-dependent choice that should account jointly for modality availability and the retrieval query.
• Abstract（参考訳）: マルチモーダルビデオ検索は、視覚情報、音響情報、音声情報を組み合わせているが、その融合順序がデータに依存し、検索クエリが不明確である。 そこで我々は,UniPRO(Uniified Progressive Representation Learning for Order Analysis)を導入し,一致したモデルコンポーネントとトレーニング設定による統合スケジュールの設定を通じて,この問題について検討する。 テキスト・ツー・ビデオ検索から、テストされた1対1のスケジュールは、スタックド・フュージョンよりも優れており、一方、1対1のフュージョン内の順序は、性能も変化していることがわかった。 注文選択の導出には,不平等なモダリティ・アベイラビリティの下での学習難度と,クエリに関連する情報の保存という2つの相補的考察を検討する。 完全モダリティ制御は、欠落した入力だけで順序の感度を説明できないことを示している。 R@1では、テキストと音声の検索は、最後にクエリと一致するモダリティを導入するスケジュールを好む。 R@1とSumRの両方で、異なるクロスオーバーポイントで、トレーニングとテストの間、制御された音声の欠如が好まれる順序を逆転させる。 これらの知見は融合経路を選択する際の2つの考慮事項のバランスをとる動機となった。 MSR-VTT-9k で評価された命令の中では,97.9 R@1 である。 4つのテキスト・ビデオ・ベンチマークの主な実験は、UniPROの有効性を確立し、そのサポート設計を評価する。 その結果、融合順序をタスク依存の選択として識別し、モダリティの可用性と検索クエリを共同で考慮する。

関連論文リスト

• Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models [32.55035648466553]
  一つの融合スキームがより良い結果をもたらす傾向があり,それがハイブリッド融合スキームの開発に有用かどうかを考察する。 本稿では,結合と付加に加えて,アフィン変換とクロスアテンションという2つの融合スキームを提案する。 画像トークンとの融合は視覚的プロンプトチューニングにおいて重要な役割を担い、ハイブリッドフュージョン方式はViTの層セマンティクスをより効果的に活用できることを示した。
  論文  参考訳（メタデータ） (2026-06-24T21:06:23Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• Exploring Rewriting Approaches for Different Conversational Tasks [63.56404271441824]
  正確な書き換えアプローチは、しばしば、会話アシスタントによってサポートされているユースケースとアプリケーション固有のタスクに依存します。 基本的に異なる2つの生成タスクに対して,書き換えと融合という2つの異なるアプローチを体系的に検討した。 以上の結果から, 特定の書き換え手法や融合手法は, 基礎となるユースケースや生成課題に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2025-02-26T06:05:29Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations [76.70349332096693]
  情報検索対話システムは電子商取引システムで広く利用されている。 クエリバッグに基づくPseudo Relevance Feedback framework(QB-PRF)を提案する。 関連クエリを備えたクエリバッグを構築し、擬似シグナルとして機能し、情報検索の会話をガイドする。
  論文  参考訳（メタデータ） (2024-03-22T08:10:32Z)
• Learning to Rank Utterances for Query-Focused Meeting Summarization [0.7868449549351486]
  発話のランク付けのためのランダージェネレータフレームワークを提案する。 発話のランク付け学習は,クエリに関連する発話を効果的に選択する上で有効であることを示す。 QMSumの実験結果から,提案モデルはパラメータが少ない既存の多段階モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-22T06:25:09Z)
• Query-Utterance Attention with Joint modeling for Query-Focused Meeting Summarization [4.763356598070365]
  本稿では,クエリ・Utterance Attentionに基づく共同モデリングトークンと発話を用いた問合せ対応フレームワークを提案する。 異なる粒度のクエリ関連性は、クエリに関連する要約を生成するのに寄与することを示す。
  論文  参考訳（メタデータ） (2023-03-08T10:21:45Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。