論文の概要: BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA

• arxiv url: http://arxiv.org/abs/2005.00766v2
• Date: Mon, 12 Oct 2020 18:44:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 12:24:22.811368
• Title: BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA
• Title（参考訳）: BERT-kNN: トレーニング済み言語モデルにkNN検索コンポーネントを追加してQAを改善する
• Authors: Nora Kassner and Hinrich Sch\"utze
• Abstract要約: k-nearest-neighbor(kNN)コンポーネントは、オープンドメイン質問応答(QA)に有用であることを示す。 トレーニング中に遭遇した事実のリコールを改善するため、BERTと従来の情報検索ステップ(IR)とkNN検索を組み合わせた。 BERT-kNN は,クローゼスタイルのQA において,それ以上のトレーニングを行わずに大きなマージンで BERT よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.028247638616058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Khandelwal et al. (2020) use a k-nearest-neighbor (kNN) component to improve language model performance. We show that this idea is beneficial for open-domain question answering (QA). To improve the recall of facts encountered during training, we combine BERT (Devlin et al., 2019) with a traditional information retrieval step (IR) and a kNN search over a large datastore of an embedded text collection. Our contributions are as follows: i) BERT-kNN outperforms BERT on cloze-style QA by large margins without any further training. ii) We show that BERT often identifies the correct response category (e.g., US city), but only kNN recovers the factually correct answer (e.g., "Miami"). iii) Compared to BERT, BERT-kNN excels for rare facts. iv) BERT-kNN can easily handle facts not covered by BERT's training set, e.g., recent events.
• Abstract（参考訳）: Khandelwal et al. (2020) は k-nearest-neighbor (kNN) コンポーネントを使用して言語モデルのパフォーマンスを向上させる。 このアイデアは、オープンドメイン質問応答(QA)に有用であることを示す。 トレーニング中に遭遇した事実のリコールを改善するために,BERT(Devlin et al., 2019)と従来の情報検索ステップ(IR)と,埋め込みテキストコレクションの大規模なデータストア上のkNN検索を組み合わせた。 私たちの貢献は次のとおりです。 一 BERT-kNNは、追加の訓練を受けずに、クローゼスタイルのQAにおいてBERTを大きなマージンで上回る。 ii) BERTは正しい応答カテゴリ(例えば米国市)をしばしば識別するが、kNNのみが事実的に正しい回答(例えば「Miami」)を回復することを示す。 三 BERTと比べ、BERT-kNNは稀な事実に優れる。 iv)BERT-kNNは、最近のイベントなど、BERTのトレーニングセットでカバーされていない事実を容易に処理できる。

関連論文リスト

• SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation [31.777019330200705]
  スパイキングニューラルネットワーク(SNN)は、よりエネルギー効率の良い方法でディープニューラルネットワークを実装するための有望な道を提供する。 我々は最近提案されたスパイクトランスフォーマー(すなわち、Spikformer)を改善して、言語タスクの処理を可能にします。 提案手法で訓練したSpikeBERTは,最先端のSNNよりも優れており,英語と中国語のテキスト分類タスクにおけるBERTと同等の結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-08-29T08:41:16Z)
• Less is More: Parameter-Free Text Classification with Gzip [47.63077023698568]
  ディープニューラルネットワーク(DNN)は通常、高いレベルの精度を達成するため、テキスト分類タスクにしばしば使用される。 テキスト分類において,DNNの非パラメトリックな代替手段を提案する。 本手法は,6つの非分散データセット上で,事前制約のないディープラーニング手法と競合する結果を得る。
  論文  参考訳（メタデータ） (2022-12-19T12:40:18Z)
• Nearest Neighbor Zero-Shot Inference [68.56747574377215]
  kNN-Promptは、言語モデル(LM)を用いたゼロショット推論のためのk-nearest neighbor (kNN)検索拡張手法である。 ファジィ動詞化器は、各分類ラベルを自然言語トークンのセットに自動的に関連付けることで、下流タスクのスパースkNN分布を利用する。 実験により,kNN-Promptはドメイン適応に有効であり,さらに,kNN検索に使用するモデルのサイズに応じて,検索のメリットが増加することが示された。
  論文  参考訳（メタデータ） (2022-05-27T07:00:59Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem? [66.70154236519186]
  センテンス挿入は繊細だが基本的なNLP問題である。 文順序付け、テキストコヒーレンス、質問応答(QA)の現在のアプローチは、その解決には適さない。 本稿では,この問題をグラフとして表現し,グラフニューラルネットワーク(GNN)を用いて文間の関係を学習するモデルであるInsertGNNを提案する。
  論文  参考訳（メタデータ） (2021-03-28T06:50:31Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
  本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。 BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。 そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T12:34:52Z)
• CERT: Contrastive Self-supervised Learning for Language Understanding [20.17416958052909]
  本稿では,トランスフォーマーからのコントラスト型自己教師型表現(CERT)を提案する。 CERTは、文レベルでのコントラッシブな自己教師型学習を用いて、言語表現モデルを事前訓練する。 そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
  論文  参考訳（メタデータ） (2020-05-16T16:20:38Z)
• Advanced kNN: A Mature Machine Learning Series [2.7729939137633877]
  k-nearest neighbor (kNN) は、機械学習やデータマイニングにおいて最も顕著で単純で基本的なアルゴリズムの1つである。 本研究の目的は、未知のインスタンスを分類できる高度なkNN(A-kNN)アルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-03-01T06:11:04Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。