論文の概要: DeDrift: Robust Similarity Search under Content Drift

• arxiv url: http://arxiv.org/abs/2308.02752v1
• Date: Sat, 5 Aug 2023 00:12:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 18:59:26.691938
• Title: DeDrift: Robust Similarity Search under Content Drift
• Title（参考訳）: DeDrift:コンテンツドリフトでロバストな類似性検索
• Authors: Dmitry Baranchuk, Matthijs Douze, Yash Upadhyay, I. Zeki Yalniz
• Abstract要約: 時間的情報が長期間にわたって利用できる実世界の画像とビデオデータセットを導入・分析する。 この学習に基づいて,埋め込み量子化器を更新し,大規模インデックス構造をオンザフライで継続的に適応させる手法であるDeDriftを考案した。 DeDriftは、クエリやデータベースの内容のドリフトによる精度の劣化をほとんどなくし、完全なインデックス再構築よりも100倍高速である。
• 参考スコア（独自算出の注目度）: 13.127769273549042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The statistical distribution of content uploaded and searched on media sharing sites changes over time due to seasonal, sociological and technical factors. We investigate the impact of this "content drift" for large-scale similarity search tools, based on nearest neighbor search in embedding space. Unless a costly index reconstruction is performed frequently, content drift degrades the search accuracy and efficiency. The degradation is especially severe since, in general, both the query and database distributions change. We introduce and analyze real-world image and video datasets for which temporal information is available over a long time period. Based on the learnings, we devise DeDrift, a method that updates embedding quantizers to continuously adapt large-scale indexing structures on-the-fly. DeDrift almost eliminates the accuracy degradation due to the query and database content drift while being up to 100x faster than a full index reconstruction.
• Abstract（参考訳）: メディア共有サイトでアップロード・検索されたコンテンツの統計的分布は季節的、社会学的、技術的要因によって時間とともに変化する。 埋め込み空間における近接探索に基づく大規模類似度探索ツールにおけるこの「コンテンツドリフト」の影響について検討する。 コストのかかるインデックス再構成が頻繁に行われない限り、コンテンツドリフトは検索精度と効率を低下させる。 一般に、クエリとデータベースの分布が変化するため、この劣化は特に深刻である。 時間的情報が長期間にわたって利用できる実世界の画像とビデオデータセットを導入・分析する。 学習に基づいて,埋め込み量子化器を更新して大規模インデックス構造をオンザフライで連続的に適応させるdedriftを開発した。 DeDriftはクエリやデータベースの内容のドリフトによる精度の劣化をほとんどなくし、完全なインデックス再構築よりも100倍高速である。

関連論文リスト

• WindTunnel -- A Framework for Community Aware Sampling of Large Corpora [0.0]
  WindTunnelはYextで開発されたフレームワークで、大きなコーパスのサンプルを生成する。 WindTunnelは現在のサンプリング手法の制限を克服し、より正確な評価を提供する。
  論文  参考訳（メタデータ） (2024-10-27T00:49:52Z)
• Semi-Parametric Retrieval via Binary Token Index [71.78109794895065]
  Semi-parametric Vocabulary Disentangled Retrieval (SVDR) は、新しい半パラメトリック検索フレームワークである。 既存のニューラル検索手法に似た、高い有効性のための埋め込みベースのインデックスと、従来の用語ベースの検索に似た、迅速かつ費用対効果の高いセットアップを可能にするバイナリトークンインデックスの2つのタイプをサポートする。 埋め込みベースインデックスを使用する場合の高密度検索器DPRよりも3%高いトップ1検索精度と、バイナリトークンインデックスを使用する場合のBM25よりも9%高いトップ1検索精度を実現する。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Methods for Generating Drift in Text Streams [49.3179290313959]
  コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。 本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。 その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
  論文  参考訳（メタデータ） (2024-03-18T23:48:33Z)
• Spatial Decomposition and Temporal Fusion based Inter Prediction for Learned Video Compression [59.632286735304156]
  学習ビデオ圧縮のための空間分解と時間融合に基づく相互予測を提案する。 SDDに基づく動きモデルと長時間の時間的融合により,提案した学習ビデオはより正確な相互予測コンテキストを得ることができる。
  論文  参考訳（メタデータ） (2024-01-29T03:30:21Z)
• Toward Accurate and Temporally Consistent Video Restoration from Raw Data [20.430231283171327]
  連続的かつ高精度な空間伝搬による新しいVJDDフレームワークを提案する。 提案した損失は,不正確な流量推定による誤差蓄積問題を回避することができる。 復元精度,知覚品質,時間的整合性の観点から,VJDDの先行性能を示す実験を行った。
  論文  参考訳（メタデータ） (2023-12-25T12:38:03Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• Mathematical Models for Local Sensing Hashes [7.400475825464313]
  近似インデックス構造は,クラスタリングと外乱検出の近傍探索を高速化する好機であることを示す。 局所センシングハッシュの特性を数学的にモデル化する方向を示す。
  論文  参考訳（メタデータ） (2021-11-16T10:40:55Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)
• Post-Estimation Smoothing: A Simple Baseline for Learning with Side Information [102.18616819054368]
  本稿では,構造指標データを予測に組み込む高速かつ効率的な手法として,後推定平滑化演算子を提案する。 滑らかなステップは元の予測器とは分離されているため、機械学習タスクの幅広いクラスに適用できる。 大規模な空間的・時間的データセットに関する実験は,実測後のスムース化の速度と正確さを浮き彫りにした。
  論文  参考訳（メタデータ） (2020-03-12T18:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。