論文の概要: Metric Compatible Training for Online Backfilling in Large-Scale Retrieval

• arxiv url: http://arxiv.org/abs/2301.03767v2
• Date: Thu, 19 Dec 2024 16:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:28:43.956102
• Title: Metric Compatible Training for Online Backfilling in Large-Scale Retrieval
• Title（参考訳）: 大規模検索におけるオンラインバックフィルのためのメトリックコンパチブルトレーニング
• Authors: Seonguk Seo, Mustafa Gokhan Uzunbas, Bohyung Han, Sara Cao, Ser-Nam Lim,
• Abstract要約: バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。 本稿では,オンラインのバックフィルアルゴリズムを提案し,バックフィル処理の進行的な性能向上を実現する。 我々は、逆変換モジュールをより効果的で効率的なマージに組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。
• 参考スコア（独自算出の注目度）: 67.72644952719791
• License:
• Abstract: Backfilling is the process of re-extracting all gallery embeddings from upgraded models in image retrieval systems. It inevitably requires a prohibitively large amount of computational cost and even entails the downtime of the service. Although backward-compatible learning sidesteps this challenge by tackling query-side representations, this leads to suboptimal solutions in principle because gallery embeddings cannot benefit from model upgrades. We address this dilemma by introducing an online backfilling algorithm, which enables us to achieve a progressive performance improvement during the backfilling process while not sacrificing the final performance of new model after the completion of backfilling. To this end, we first propose a simple distance rank merge technique for online backfilling. Then, we incorporate a reverse transformation module for more effective and efficient merging, which is further enhanced by adopting a metric-compatible contrastive learning approach. These two components help to make the distances of old and new models compatible, resulting in desirable merge results during backfilling with no extra computational overhead. Extensive experiments show the effectiveness of our framework on four standard benchmarks in various settings.
• Abstract（参考訳）: バックフィルは、画像検索システムにおいて、アップグレードされたモデルからすべてのギャラリー埋め込みを再抽出するプロセスである。 必然的に膨大な計算コストを必要とし、サービスのダウンタイムも伴います。 後方互換性のある学習は、クエリサイドの表現に対処することでこの課題を一歩先導するが、これは原則として、ギャラリーの埋め込みがモデルアップグレードの恩恵を受けることができないため、サブ最適ソリューションにつながる。 このジレンマに対処するために、オンラインの補充アルゴリズムを導入し、補充処理の完了後、新しいモデルの最終性能を犠牲にすることなく、補充処理の進行的な性能改善を実現する。 そこで我々はまず,オンラインバックフィルのための単純な距離ランクマージ手法を提案する。 そして、より効率的かつ効率的なマージを実現するために、逆変換モジュールを組み込み、メトリック互換のコントラスト学習アプローチを採用することでさらに強化する。 これら2つのコンポーネントは、古いモデルと新しいモデルの距離を両立させるのに役立つ。 広範囲な実験により、様々な環境での4つの標準ベンチマークにおけるフレームワークの有効性が示された。

関連論文リスト

• ReMatching Dynamic Reconstruction Flow [55.272357926111454]
  本稿では,動的再構成モデルに変形前処理を組み込むことにより,一般化品質の向上を目的としたReMatchingフレームワークを提案する。 このフレームワークは高度に適応可能であり、様々な動的表現に適用できる。 合成シーンと実世界のダイナミックシーンの両方を含む一般的なベンチマークの評価は、現在の最先端モデルの再構築精度を明らかに向上させたことを示す。
  論文  参考訳（メタデータ） (2024-11-01T16:09:33Z)
• EnsIR: An Ensemble Algorithm for Image Restoration via Gaussian Mixture Models [70.60381055741391]
  画像復元の課題は、説明された問題に関連し、単一のモデル予測と地道のずれをもたらす。 アンサンブル学習は、複数のベースモデルの予測を組み合わせることで、これらの偏差に対処することを目的としている。 我々は予測候補のアンサンブル重みを推定するために予測(EM)に基づくアルゴリズムを用いる。 我々のアルゴリズムは、モデルに依存しない訓練不要であり、様々なトレーニング済み画像復元モデルのシームレスな統合と強化を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:16:35Z)
• Backward-Compatible Aligned Representations via an Orthogonal Transformation Layer [20.96380700548786]
  画像検索システムは、古い表現と新しい表現のミスアライメントにより、表現が改善されたモデルを更新する際の課題に直面している。 以前の研究では、バックフィルなしで新しい表現と古い表現を直接比較できる後方互換性のあるトレーニング方法が検討されてきた。 本稿では、後方互換性と独立に訓練されたモデルの性能のバランスをとることに取り組む。
  論文  参考訳（メタデータ） (2024-08-16T15:05:28Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Stationary Representations: Optimally Approximating Compatibility and Implications for Improved Model Replacements [20.96380700548786]
  互換性のある表現を学習することで、モデルが時間とともに更新されるときに、セマンティックな機能の交換可能な使用が可能になる。 これは、ギャラリーイメージの更新モデルによる再処理を避けることが重要となる検索・検索システムにおいて特に重要である。 我々は,$d$-Simplex固定分類器によって学習された定常表現が,形式的定義の2つの不等式制約に従って最適に近似していることを示す。
  論文  参考訳（メタデータ） (2024-05-04T06:31:38Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• FastFill: Efficient Compatible Model Update [40.27741553705222]
  FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
  論文  参考訳（メタデータ） (2023-03-08T18:03:51Z)
• Towards Universal Backward-Compatible Representation Learning [29.77801805854168]
  バックフィルフリーモデルアップグレードをサポートするために、後方互換性のある表現学習が導入されている。 まず、モデルアップグレードにおいて、可能なすべてのデータ分割を網羅する、普遍的な後方互換性のある表現学習の新たな問題を導入する。 提案手法は,Universal Backward- Training (UniBCT) とよばれる,シンプルで効果的な手法である。
  論文  参考訳（メタデータ） (2022-03-03T09:23:51Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。