論文の概要: Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval
- arxiv url: http://arxiv.org/abs/2608.22500v1
- Date: Sun, 23 Aug 2026 16:38:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.979281
- Title: Learning Sample-wise Rank-aware Interpolation Weights for Composed Visual Data Retrieval
- Title(参考訳): 合成ビジュアルデータ検索のためのサンプルワイドランク対応補間重みの学習
- Abstract要約: クエリ固有の重みを動的に予測する最初のフレームワークであるSRAINを紹介します。
SRAINは合成ビデオ検索において最良を達成し、合成画像検索における現在の技術状況と一致する。
- 参考スコア(独自算出の注目度): 39.97218342175001
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: At the heart of composed visual data retrieval is the fusion of a reference visual input and a textual modification into a single query. While current state-of-the-art methods utilize multimodal large language models for this fusion, their complexity introduces prohibitive querytime latency, limiting their scalability. We instead revisit the efficacy of simple linear interpolation within an embedding space, and introduce SRAIN, the first framework that dynamically predicts query-specific interpolation weights. The key challenge lies in the fact that the quality of an interpolation weight should be measured by the interpolated embedding's discriminability from negatives as well as its proximity to true targets; this makes collecting and predicting optimal weights intractable. We overcome this bottleneck through two key innovations: batch-wise rank-aware weight estimation during training, and a compact memory bank that synthesizes hard negatives during inference. SRAIN achieves the best in composed video retrieval and matches the current state of the art in composed image retrieval, all while substantially reducing querytime latency compared to MLLM-based alternatives.
- Abstract(参考訳): 合成ビジュアルデータ検索の核心は、参照ビジュアル入力とテキスト修正を単一のクエリに融合させることである。
現在の最先端の手法では、この融合にマルチモーダルな大規模言語モデルを使用しているが、その複雑さはクエリ時間の制限を伴い、スケーラビリティを制限している。
代わりに、埋め込み空間における単純な線形補間の有効性を再考し、クエリ固有の補間重みを動的に予測する最初のフレームワークであるSRAINを紹介します。
重要な課題は、補間重みの質が、補間埋め込みの負の識別可能性と真の目標との近さによって測定されるべきであるという事実である。
このボトルネックを克服するには、トレーニング中のバッチワイドなランクアウェアの重み推定と、推論時にハードネガティブを合成するコンパクトなメモリバンクという、2つの重要なイノベーションがある。
SRAINは合成ビデオ検索において最良であり、合成画像検索における現在の最先端と一致し、MLLMベースの代替手法と比較してクエリ時間遅延を大幅に低減する。
関連論文リスト
- Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。
LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
論文 参考訳(メタデータ) (2026-06-15T03:17:44Z) - Max-pooling Network Revisited: Analyzing the Role of Semantic Probability in Multiple Instance Learning for Hallucination Detection [31.935824861650005]
幻覚検出は、大規模言語モデルの信頼性を向上させるためにますます重要になっている。
近年,MIL(Multiple Instance Learning)による内部モデル状態とセマンティック一貫性を組み合わせたHaMIのようなハイブリッドアプローチが,最先端のパフォーマンスを実現している。
本研究では,まず,決定マージンの観点からHaMIの理論的解析を行い,内部状態を意味的整合性で拡張すると決定マージンが大きくなることを示した。
論文 参考訳(メタデータ) (2026-05-09T10:30:30Z) - Representation-Level Counterfactual Calibration for Debiased Zero-Shot Recognition [36.36218470387896]
私たちはこの問題を因果推論問題として再考し、次のような質問をした。
推測時にこれを答えるために、CLIPの表現空間内のオブジェクトと背景の期待値を推定し、反ファクトの埋め込みを合成する。
提案手法は,再訓練や即時設計を伴わず,文脈に敏感なベンチマークにおいて,最悪のグループと平均精度の両方を著しく改善する。
論文 参考訳(メタデータ) (2025-10-30T13:11:23Z) - Rethinking Irregular Time Series Forecasting: A Simple yet Effective Baseline [12.66709671516384]
本稿では,汎用的で効率的な予測フレームワークであるAPNを紹介する。
APNの中核には、新しい Time-Aware Patch Aggregation (ATAPA) モジュールがある。
パッチ表現をタイムアウェアな重み付けで計算し、すべての生の観察を集約する。
このアプローチは、人工的なデータポイントの導入を回避し、設計による完全な情報カバレッジを確保することによって、データの忠実性を維持する。
論文 参考訳(メタデータ) (2025-05-16T13:42:00Z) - Representation Alignment Contrastive Regularization for Multi-Object Tracking [29.837560662395713]
多目的追跡アルゴリズムのメインストリーム性能は、データアソシエーション段階における重時間関係のモデリングに依存する。
この研究は、深層学習に基づく時間的関係モデルを単純化し、データアソシエーション設計に解釈可能性を導入することを目的としている。
論文 参考訳(メタデータ) (2024-04-03T08:33:08Z) - Interactive Test-Time Adaptation with Reliable Spatial-Temporal Voxels for Multi-Modal Segmentation [56.70910056845503]
マルチモーダルテストタイム適応(MM-TTA)は、補完的なマルチモーダル入力をオンライン形式で活用することにより、ラベルのないターゲットドメインにモデルを適応させる。
従来のMM-TTA法は, 時間的不整合によるフレームワイドの不安定な予測と, 信頼度誘導の仮定に反する不正確な予測の2つの大きな限界に悩まされていた。
Latte++は、より情報的な幾何学的対応によって不安定なフレーム単位の予測をより抑制し、対話型テスト時間適応(ITTA)は、努力を伴わない人間のフィードバックを促進するフレキシブルなアドオンである。
論文 参考訳(メタデータ) (2024-03-11T06:56:08Z) - Correlation Information Bottleneck: Towards Adapting Pretrained
Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。
マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文 参考訳(メタデータ) (2022-09-14T22:04:10Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Universal Weighting Metric Learning for Cross-Modal Matching [79.32133554506122]
クロスモーダルマッチングは、視覚領域と言語領域の両方において、注目すべき研究トピックである。
クロスモーダルマッチングのためのシンプルで解釈可能な普遍重み付けフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-07T13:16:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。