論文の概要: What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary
- arxiv url: http://arxiv.org/abs/2212.10380v2
- Date: Wed, 24 May 2023 12:05:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 02:30:31.668025
- Title: What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary
- Title(参考訳): あなたは何に気付いていますか。
語彙上の分布としてのDense Retrieval
- Authors: Ori Ram, Liat Bezalel, Adi Zicher, Yonatan Belinkov, Jonathan Berant,
Amir Globerson
- Abstract要約: 本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
- 参考スコア(独自算出の注目度): 68.77983831618685
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Dual encoders are now the dominant architecture for dense retrieval. Yet, we
have little understanding of how they represent text, and why this leads to
good performance. In this work, we shed light on this question via
distributions over the vocabulary. We propose to interpret the vector
representations produced by dual encoders by projecting them into the model's
vocabulary space. We show that the resulting projections contain rich semantic
information, and draw connection between them and sparse retrieval. We find
that this view can offer an explanation for some of the failure cases of dense
retrievers. For example, we observe that the inability of models to handle tail
entities is correlated with a tendency of the token distributions to forget
some of the tokens of those entities. We leverage this insight and propose a
simple way to enrich query and passage representations with lexical information
at inference time, and show that this significantly improves performance
compared to the original model in zero-shot settings, and specifically on the
BEIR benchmark.
- Abstract(参考訳): 現在、デュアルエンコーダは高密度検索の主要なアーキテクチャである。
しかし、テキストの表現方法や、それが優れたパフォーマンスにつながる理由については、ほとんど理解していません。
本研究では,語彙上の分布を通じて,この問題に光を当てた。
本稿では,双対エンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
結果として得られる投影は、豊富な意味情報を含み、それらの間の接続とスパース検索を描画する。
この考え方は、密集したレトリバーの障害ケースのいくつかを説明することができる。
例えば、末尾のエンティティを扱うモデルができないことは、それらのエンティティのトークンのいくつかを忘れてしまうトークン分布の傾向と相関していると観察する。
本稿では,この知見を活用し,語彙情報を用いたクエリやパス表現を推論時に拡張する簡単な手法を提案し,この手法がゼロショット設定における元のモデル,特にBEIRベンチマークにおいて,性能を著しく向上させることを示す。
関連論文リスト
- With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳(メタデータ) (2023-08-23T18:53:00Z) - Contrastive Corpus Attribution for Explaining Representations [17.07084455770185]
ほとんどの説明手法はスカラーモデルの出力を説明する。
最近の研究はスカラーの説明出力を定義しており、説明されているサンプルの表現空間におけるドット積に基づく類似性を定義している。
本稿では,新規で意味のあるスカラー説明出力であるコントラストコーパス類似性を提案する。
論文 参考訳(メタデータ) (2022-09-30T21:59:10Z) - TokenFlow: Rethinking Fine-grained Cross-modal Alignment in
Vision-Language Retrieval [30.429340065755436]
我々は, 細粒度クロスモーダルアライメントのためのモデルに依存しない新しい定式化を考案した。
最適輸送理論に着想を得て,提案手法のインスタンス化であるemphTokenFlowを紹介した。
論文 参考訳(メタデータ) (2022-09-28T04:11:05Z) - Measuring the Interpretability of Unsupervised Representations via
Quantized Reverse Probing [97.70862116338554]
本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。
我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。
提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
論文 参考訳(メタデータ) (2022-09-07T16:18:50Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-03-22T08:11:43Z) - Adaptive Attentional Network for Few-Shot Knowledge Graph Completion [16.722373937828117]
Few-shot Knowledge Graph (KG) の完成は、現在の研究の焦点であり、各タスクは、数少ない参照エンティティペアを考えると、関係の見えない事実をクエリすることを目的としている。
最近の試みでは、エンティティと参照の静的表現を学習し、それらの動的特性を無視してこの問題を解決している。
本研究は,適応実体と参照表現を学習することにより,数ショットのKG補完のための適応的注意ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-19T16:27:48Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳(メタデータ) (2020-05-03T18:23:06Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳(メタデータ) (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。