論文の概要: What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary
- arxiv url: http://arxiv.org/abs/2212.10380v1
- Date: Tue, 20 Dec 2022 16:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 16:41:21.218608
- Title: What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary
- Title(参考訳): あなたは何に気付いていますか。
語彙上の分布としてのDense Retrieval
- Authors: Ori Ram, Liat Bezalel, Adi Zicher, Yonatan Belinkov, Jonathan Berant,
Amir Globerson
- Abstract要約: 本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
語彙トークン上の結果の分布は直感的であり,豊富な意味情報を含んでいることを示す。
- 参考スコア(独自算出の注目度): 68.77983831618685
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Dual encoders are now the dominant architecture for dense retrieval. Yet, we
have little understanding of how they represent text, and why this leads to
good performance. In this work, we shed light on this question via
distributions over the vocabulary. We propose to interpret the vector
representations produced by dual encoders by projecting them into the model's
vocabulary space. We show that the resulting distributions over vocabulary
tokens are intuitive and contain rich semantic information. We find that this
view can explain some of the failure cases of dense retrievers. For example,
the inability of models to handle tail entities can be explained via a tendency
of the token distributions to forget some of the tokens of those entities. We
leverage this insight and propose a simple way to enrich query and passage
representations with lexical information at inference time, and show that this
significantly improves performance compared to the original model in
out-of-domain settings.
- Abstract(参考訳): 現在、デュアルエンコーダは高密度検索の主要なアーキテクチャである。
しかし、テキストの表現方法や、それが優れたパフォーマンスにつながる理由については、ほとんど理解していません。
本研究では,語彙上の分布を通じて,この問題に光を当てた。
本稿では,双対エンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
語彙トークン上の結果の分布は直感的であり,豊富な意味情報を含んでいることを示す。
この見方は、高密度レトリバーの故障事例のいくつかを説明することができる。
例えば、テールエンティティを扱うモデルが存在しないことは、それらのエンティティのトークンの一部を忘れるトークン分布の傾向によって説明できる。
我々は,この知見を活用し,推論時に語彙情報を含むクエリ表現とパッセージ表現を豊かにするための簡易な方法を提案し,ドメイン外設定における元のモデルに比べて性能が大幅に向上することを示す。
関連論文リスト
- With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳(メタデータ) (2023-08-23T18:53:00Z) - Contrastive Corpus Attribution for Explaining Representations [17.07084455770185]
ほとんどの説明手法はスカラーモデルの出力を説明する。
最近の研究はスカラーの説明出力を定義しており、説明されているサンプルの表現空間におけるドット積に基づく類似性を定義している。
本稿では,新規で意味のあるスカラー説明出力であるコントラストコーパス類似性を提案する。
論文 参考訳(メタデータ) (2022-09-30T21:59:10Z) - TokenFlow: Rethinking Fine-grained Cross-modal Alignment in
Vision-Language Retrieval [30.429340065755436]
我々は, 細粒度クロスモーダルアライメントのためのモデルに依存しない新しい定式化を考案した。
最適輸送理論に着想を得て,提案手法のインスタンス化であるemphTokenFlowを紹介した。
論文 参考訳(メタデータ) (2022-09-28T04:11:05Z) - Measuring the Interpretability of Unsupervised Representations via
Quantized Reverse Probing [97.70862116338554]
本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。
我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。
提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
論文 参考訳(メタデータ) (2022-09-07T16:18:50Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-03-22T08:11:43Z) - Adaptive Attentional Network for Few-Shot Knowledge Graph Completion [16.722373937828117]
Few-shot Knowledge Graph (KG) の完成は、現在の研究の焦点であり、各タスクは、数少ない参照エンティティペアを考えると、関係の見えない事実をクエリすることを目的としている。
最近の試みでは、エンティティと参照の静的表現を学習し、それらの動的特性を無視してこの問題を解決している。
本研究は,適応実体と参照表現を学習することにより,数ショットのKG補完のための適応的注意ネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-19T16:27:48Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳(メタデータ) (2020-10-15T16:57:27Z) - Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven
Cloze Reward [42.925345819778656]
本稿では,グラフ拡張と意味駆動型RewarDによる抽象要約のための新しいフレームワークであるASGARDを紹介する。
本稿では,2つのエンコーダ(シーケンシャル文書エンコーダ)とグラフ構造化エンコーダ(グラフ構造化エンコーダ)の利用を提案する。
その結果、我々のモデルは、New York TimesとCNN/Daily Mailのデータセットからの入力として、知識グラフのない変種よりもはるかに高いROUGEスコアを生成することがわかった。
論文 参考訳(メタデータ) (2020-05-03T18:23:06Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳(メタデータ) (2020-04-17T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。