論文の概要: Enhancing Dense Retrievers' Robustness with Group-level Reweighting
- arxiv url: http://arxiv.org/abs/2310.16605v4
- Date: Mon, 14 Oct 2024 00:45:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-17 10:27:53.155502
- Title: Enhancing Dense Retrievers' Robustness with Group-level Reweighting
- Title（参考訳）: 群重み付けによる高密度リトリーバーのロバスト性向上
- Authors: Peixuan Han, Zhenghao Liu, Zhiyuan Liu, Chenyan Xiong,
- Abstract要約: WebDROは、Webグラフデータをクラスタリングし、グループ重み付けを最適化する効率的なアプローチである。
群分散ロバスト最適化を用いて、アンカー文書対の異なるクラスタ間で重みを補正する。
MARCO と BEIR を用いた実験により,教師なしトレーニングおよび微調整設定における検索性能を効果的に向上できることが実証された。
- 参考スコア（独自算出の注目度）: 38.52087558211745
- License:
- Abstract: The anchor-document data derived from web graphs offers a wealth of paired information for training dense retrieval models in an unsupervised manner. However, unsupervised data contains diverse patterns across the web graph and often exhibits significant imbalance, leading to suboptimal performance in underrepresented or difficult groups. In this paper, we introduce WebDRO, an efficient approach for clustering the web graph data and optimizing group weights to enhance the robustness of dense retrieval models. Initially, we build an embedding model for clustering anchor-document pairs. Specifically, we contrastively train the embedding model for link prediction, which guides the embedding model in capturing the document features behind the web graph links. Subsequently, we employ the group distributional robust optimization to recalibrate the weights across different clusters of anchor-document pairs during training retrieval models. During training, we direct the model to assign higher weights to clusters with higher loss and focus more on worst-case scenarios. This approach ensures that the model has strong generalization ability on all data patterns. Our experiments on MS MARCO and BEIR demonstrate that our method can effectively improve retrieval performance in unsupervised training and finetuning settings. Further analysis confirms the stability and validity of group weights learned by WebDRO. The code of this paper can be obtained from https://github.com/Hanpx20/GroupDRO_Dense_Retrieval.
- Abstract（参考訳）: ウェブグラフから得られたアンカー文書データは、教師なしの方法で密集した検索モデルを訓練するための豊富なペア情報を提供する。
しかし、教師なしデータには、Webグラフ全体にわたる多様なパターンが含まれており、しばしば大きな不均衡を呈し、表現不足や難易度の高いグループにおいて、最適以下のパフォーマンスをもたらす。
本稿では、Webグラフデータをクラスタリングし、グループ重み付けを最適化し、高密度検索モデルのロバスト性を高めるための効率的なアプローチであるWebDROを紹介する。
最初は、アンカー文書のペアをクラスタ化するための埋め込みモデルを構築しました。
具体的には、ウェブグラフリンクの背後にある文書の特徴を捉える際に、埋め込みモデルを誘導するリンク予測のための埋め込みモデルを対照的に訓練する。
その後、群分散ロバスト最適化を用いて、トレーニング検索モデルにおいて、異なるアンカー文書ペアのクラスタ間で重みを補正する。
トレーニング中は、より高い重み付けをより高い損失を持つクラスタに割り当て、最悪のシナリオに集中するようにモデルを指示します。
このアプローチは、モデルがすべてのデータパターンに対して強力な一般化能力を持つことを保証する。
MARCO と BEIR を用いた実験により,教師なしトレーニングおよび微調整設定における検索性能を効果的に向上できることが実証された。
さらなる分析により、WebDROが学習した群重みの安定性と妥当性が確認される。
本論文のコードはhttps://github.com/Hanpx20/GroupDRO_Dense_Retrievalから取得できる。
関連論文リスト
- FissionFusion: Fast Geometric Generation and Hierarchical Souping for Medical Image Analysis [0.7751705157998379]
十分に注釈付けされた医療データセットの不足は、ImageNetのような広範なデータセットやCLIPのような事前訓練されたモデルからの移行学習を活用する必要がある。
モデルスープは、In-Domain(ID)タスクのパフォーマンスを改善し、out-of-Distribution(OOD)データセットに対する堅牢性を高めることを目的とした、複数の微調整されたモデルの平均である。
本稿では,様々なレベルのモデルの局所的および大域的集約を伴う階層的統合手法を提案する。
論文 参考訳（メタデータ） (2024-03-20T06:48:48Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳（メタデータ） (2023-10-11T23:01:29Z) - Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。
いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-05-09T20:37:16Z) - Too Fine or Too Coarse? The Goldilocks Composition of Data Complexity
for Robust Left-Right Eye-Tracking Classifiers [0.0]
我々は、細粒度データと粗粒度データの両方からなる混合データセットを用いて機械学習モデルを訓練する。
我々の目的のために、細粒度データはより複雑な方法で収集されたデータを指すのに対し、粗粒度データはより単純な方法で収集されたデータを指す。
論文 参考訳（メタデータ） (2022-08-24T23:18:08Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z) - It's the Best Only When It Fits You Most: Finding Related Models for
Serving Based on Dynamic Locality Sensitive Hashing [1.581913948762905]
トレーニングデータの作成は、生産や研究のためにディープラーニングモデルをデプロイするライフサイクルにおいて、しばしばボトルネックとなる。
本稿では,対象のデータセットと利用可能なモデルのトレーニングデータセットの類似性に基づいて,関連するモデルを検索してサービスするエンド・ツー・エンドプロセスを提案する。
論文 参考訳（メタデータ） (2020-10-13T22:52:13Z) - Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。
グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。
本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-02-20T10:11:28Z) - Revisiting Graph based Collaborative Filtering: A Linear Residual Graph
Convolutional Network Approach [55.44107800525776]
グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。
本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。
単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。
本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
論文 参考訳（メタデータ） (2020-01-28T04:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。