論文の概要: MultiContrievers: Analysis of Dense Retrieval Representations

• arxiv url: http://arxiv.org/abs/2402.15925v2
• Date: Fri, 04 Oct 2024 13:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:49.431134
• Title: MultiContrievers: Analysis of Dense Retrieval Representations
• Title（参考訳）: マルチコントリバー:Dense Retrieval Representationの分析
• Authors: Seraphina Goldfarb-Tarrant, Pedro Rodriguez, Jane Dwivedi-Yu, Patrick Lewis,
• Abstract要約: 我々は,高密度検索者が取得した情報を,ベースとした言語モデルと比較して初めて分析する。 ウィキペディアのような文書のコントリバーベクターから、性別や職業などの特定の情報を抽出できるかどうかを検証した。 本研究は,抽出可能性と性バイアスとの関係と,これらの結果の無作為な初期化やデータシャッフルに対する感受性について検討する。
• 参考スコア（独自算出の注目度）: 16.83289488154933
• License:
• Abstract: Dense retrievers compress source documents into (possibly lossy) vector representations, yet there is little analysis of what information is lost versus preserved, and how it affects downstream tasks. We conduct the first analysis of the information captured by dense retrievers compared to the language models they are based on (e.g., BERT versus Contriever). We use 25 MultiBert checkpoints as randomized initialisations to train MultiContrievers, a set of 25 contriever models. We test whether specific pieces of information -- such as gender and occupation -- can be extracted from contriever vectors of wikipedia-like documents. We measure this extractability via information theoretic probing. We then examine the relationship of extractability to performance and gender bias, as well as the sensitivity of these results to many random initialisations and data shuffles. We find that (1) contriever models have significantly increased extractability, but extractability usually correlates poorly with benchmark performance 2) gender bias is present, but is not caused by the contriever representations 3) there is high sensitivity to both random initialisation and to data shuffle, suggesting that future retrieval research should test across a wider spread of both.
• Abstract（参考訳）: デンスレトリバーは、ソース文書を(おそらく損失のある)ベクトル表現に圧縮するが、どのような情報が失われるか、保存されるのか、下流のタスクにどのように影響するかは、ほとんど分析されていない。 検索対象の言語モデル(例えばBERT対Contriever)と比較して,高密度検索者が取得した情報の最初の分析を行う。 ランダム化初期化として25個のMultiBertチェックポイントを使用して、25個のコントリバーモデルの集合であるMultiContrieverを訓練する。 ウィキペディアのような文書のコントリバーベクターから、性別や職業などの特定の情報を抽出できるかどうかを検証した。 この抽出性は情報理論による探索によって測定する。 次に、抽出可能性と性バイアスとの関係、およびこれらの結果の多くのランダムな初期化とデータシャッフルに対する感度について検討する。 1) コントリバーの抽出性は大幅に向上したが, 抽出性はベンチマーク性能と相関しにくいことが判明した。 2)ジェンダーバイアスは存在するが、コントリバー表現によるものではない 3) ランダム初期化とデータシャッフルの両方に高い感度があり, 将来の検索研究はより広い範囲で行うべきである。

関連論文リスト

• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Selecting which Dense Retriever to use for Zero-Shot Search [34.04158960512326]
  本稿では,ラベルを使用できない新しいコレクションを検索する際に使用する高密度検索モデルを選択するための新しい問題を提案する。 教師なし性能評価における最近の研究にインスパイアされた手法は,高能率検索器の選択に有効ではないことを示す。
  論文  参考訳（メタデータ） (2023-09-18T00:01:24Z)
• The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated [70.23064111640132]
  我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。 実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
  論文  参考訳（メタデータ） (2023-09-16T20:25:34Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Numeracy from Literacy: Data Science as an Emergent Skill from Large Language Models [0.0]
  OpenAIのChatGPTやGPT-3のような大規模言語モデル(LLM)は、リテラシーを数字化するための翻訳課題を探求するためのユニークなテストベッドを提供する。 以前の18ヶ月前から公開されていたトランスフォーマーモデルと1000倍の小さなモデルでは基本的な算術演算が得られなかった。 本研究は, 文の完成から実際の数値理解の領域へ, 次世代の予測が成功するかどうかを考察する。
  論文  参考訳（メタデータ） (2023-01-31T03:14:57Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
  本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。 私たちのテストでは、基本的に分布に関する仮定は必要ありません。 実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
  論文  参考訳（メタデータ） (2020-06-21T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。