論文の概要: Hypergraph-Regularized Gramian Volumes for Multimodal Retrieval
- arxiv url: http://arxiv.org/abs/2609.15320v1
- Date: Mon, 14 Sep 2026 10:12:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.260704
- Title: Hypergraph-Regularized Gramian Volumes for Multimodal Retrieval
- Title（参考訳）: マルチモーダル検索のためのハイパーグラフ規則化文法ボリューム
- Abstract要約: 本研究はハイパーグラフ規則化文法ボリューム(HyVol)を紹介する。
HyVolは、オリジナルのボリューム損失を評価する前に意味関係を組み込んだトレーニングタイムモジュールである。
VAST-27Mの150Kクリップサブセットで両方のバックボーンをトレーニングし、6つのベンチマークでゼロショット性能を評価する。
- 参考スコア（独自算出の注目度）: 5.4018351446007875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Volume-based multimodal retrieval jointly scores a text query with a candidate's video, audio, and subtitle embeddings. While this approach captures higher-order within-candidate alignment, the score remains candidate-local, and semantically related training samples primarily serve as contrastive negatives. This work introduces Hypergraph-Regularized Gramian Volumes (HyVol), a training-time module that incorporates these semantic relations prior to evaluating the original volume loss. Document hyperedges connect the observed modalities of each candidate, whereas semantic hyperedges link candidates whose detached captions are mutual top-k neighbors. A shallow gated hyper-graph network applies residual corrections to the modality embeddings. Presence masks exclude unavailable streams from message passing, and identity padding preserves the determinant of the observed Gram submatrix without feature imputation. As refinement operates on embeddings rather than scores, the same construction applies to both Gram and HyperGram. We remove the hypergraph after training, leaving the backbone-only architecture, original scoring function, and retrieval cost unchanged. We train both backbones on a 150K-clip subset of VAST-27M and evaluate zero-shot performance on six benchmarks. Under the paired protocol, HyVol improves R@1 across all five retrieval benchmarks, with video-to-text gains reaching +8.3 on MSR-VTT and +7.6 on VATEX. Under missing-modality masking, the V2T margin remains positive in all experimental settings, although the T2V margin becomes slightly negative in four.
- Abstract（参考訳）: ボリュームベースのマルチモーダル検索は、候補のビデオ、オーディオ、サブタイトルの埋め込みと共同でテキストクエリをスコアする。
このアプローチは、高次の候補内アライメントをキャプチャするが、スコアは候補局所のままであり、意味的に関連するトレーニングサンプルは、主に対照的な負として機能する。
HyVol(Hypergraph-Regularized Gramian Volumes)は、もともとのボリューム損失を評価する前に、これらの意味的関係を組み込んだトレーニング時間モジュールである。
文書のハイパーエッジは各候補の観察されたモダリティを結びつけるが、セマンティックハイパーエッジは互いにトップkの隣人である候補をリンクする。
浅いゲートハイパーグラフネットワークは、モダリティ埋め込みに残留補正を適用する。
プレゼンスマスクはメッセージパッシングから不利用可能なストリームを除外し、アイデンティティパディングは特徴計算なしで観察されたグラムサブマトリックスの行列式を保存する。
改良はスコアではなく埋め込みで行われるので、GramとHyperGramの両方にも同じ構成が適用される。
トレーニング後にハイパーグラフを削除し、バックボーンのみのアーキテクチャ、元のスコアリング機能、検索コストをそのまま残します。
VAST-27Mの150Kクリップサブセットで両方のバックボーンをトレーニングし、6つのベンチマークでゼロショット性能を評価する。
ペアプロトコルでは、HyVolは5つのベンチマークでR@1を改善し、MSR-VTTでは8.3、VATEXでは7.6になった。
モダリティの欠如の下では、V2Tマージンはすべての実験的な設定で正であり、T2Vマージンは4つでわずかに負となる。
関連論文リスト
- Query-Conditioned Spherical Centroid Aggregation for Multimodal Retrieval [5.4018351446007875]
マルチモーダル検索は、ビデオ、オーディオ、字幕、テキストを統合する。
最近の幾何学的アグリゲータは、すべてのモダリティを対称に扱う。
SCALARはクエリ条件付きアグリゲータで、各利用可能なモダリティに関連性ベースの重みを割り当てる。
論文 参考訳（メタデータ） (2026-09-14T10:21:23Z) - Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment [37.61076424435405]
検索拡張世代(RAG)を付加した視覚言語モデル(VLM)は、外部の証拠へのアクセスから恩恵を受ける。
標準レトリバーとリランカはユーティリティに答えるよりもセマンティックな類似性を最適化し、好みのギャップを生じさせる。
文書レベルの関連アノテーションを使わずにこのギャップを埋める2段階のジェネレータ・イン・ザ・ループアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-08T03:18:58Z) - Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval [20.130842837418726]
本稿では,HN-CLIPを導入し,テキストエンコーダのテキスト・テキスト・ジオメトリを用いてアダプティブ・アダプティブ・類似性マージンを構築する。
結果として得られた目的は、トレーニング中に1つのキャプション類似性マトリックスとマスク付きロジットの追加のみを必要とする。
実験の結果、HN-CLIPは最強のライバルに対して+2.5から+4.0 R@1に改善され、GOALより2.4倍、StructXLIPより5.4倍高速にトレーニングされた。
論文 参考訳（メタデータ） (2026-08-19T04:16:46Z) - ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation [63.38679125666075]
オブジェクトセグメンテーション(RVOS)を参照するには、ビデオを通して自然言語で指定されたターゲットをセグメンテーションする必要がある。
近年のエージェントアプローチでは,タスク固有のトレーニングなしでRVOSを実行するために,マルチモーダルな大規模言語モデルと迅速なセグメンテーションモデルを組み合わせている。
トレーニング不要でフィードバック駆動型エージェントであるReflexTrackを導入し、空間的および時間的両方のレベルでループを閉じる。
論文 参考訳（メタデータ） (2026-07-27T07:39:20Z) - Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search [30.80883548177376]
視覚文書検索のための推論不要スパース検索器であるV-SPLADEを提案する。
V-SPLADEは6つのビジュアルドキュメント検索ベンチマークの平均NDCG@5を、同じスケールの高密度ベースライン上で+13.8pp改善する。
187Mドキュメントコーパスでは、同じスケールの密度のベースライン上でR@5を倍増させる。
論文 参考訳（メタデータ） (2026-05-29T07:01:45Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳（メタデータ） (2026-01-29T17:52:54Z) - Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
RAGシステムは関連する文書を識別するためにリランカーに依存している。
注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。
我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
論文 参考訳（メタデータ） (2025-02-16T13:23:39Z) - HyperSMOTE: A Hypergraph-based Oversampling Approach for Imbalanced Node Classifications [2.172034690069702]
ハイパーグラフ学習におけるクラス不均衡問題を緩和する手法としてHyperSMOTEを提案する。
マイノリティクラスとその周辺地域のサンプルに基づいて新しいノードを合成する。
新たなノードをハイパーグラフに統合する際の問題を解決するために,元のハイパーグラフインシデント行列に基づいてデコーダを訓練する。
論文 参考訳（メタデータ） (2024-09-09T08:01:28Z) - SimMatchV2: Semi-Supervised Learning with Graph Consistency [53.31681712576555]
半教師付き学習アルゴリズムSimMatchV2を導入する。
グラフの観点からラベル付きデータとラベルなしデータの間の様々な一貫性の規則化を定式化する。
SimMatchV2は、複数の半教師付き学習ベンチマークで検証されている。
論文 参考訳（メタデータ） (2023-08-13T05:56:36Z) - UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。
UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
論文 参考訳（メタデータ） (2023-01-16T08:43:17Z) - Speaker Embedding-aware Neural Diarization: a Novel Framework for
Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。
話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
論文 参考訳（メタデータ） (2022-03-18T06:40:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。