論文の概要: BERTese: Learning to Speak to BERT
- arxiv url: http://arxiv.org/abs/2103.05327v1
- Date: Tue, 9 Mar 2021 10:17:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-11 05:11:40.473708
- Title: BERTese: Learning to Speak to BERT
- Title(参考訳): BERTese: BERTに話すことを学ぶ
- Authors: Adi Haviv, Jonathan Berant and Amir Globerson
- Abstract要約: 本論文では,より良い知識抽出に向けて直接最適化されたパラフレーズクエリ"BERTese"に自動書き換える手法を提案する。
私たちのアプローチが競合するベースラインを上回ることを実証的に示し、複雑なパイプラインの必要性を回避します。
- 参考スコア(独自算出の注目度): 50.76152500085082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large pre-trained language models have been shown to encode large amounts of
world and commonsense knowledge in their parameters, leading to substantial
interest in methods for extracting that knowledge. In past work, knowledge was
extracted by taking manually-authored queries and gathering paraphrases for
them using a separate pipeline. In this work, we propose a method for
automatically rewriting queries into "BERTese", a paraphrase query that is
directly optimized towards better knowledge extraction. To encourage meaningful
rewrites, we add auxiliary loss functions that encourage the query to
correspond to actual language tokens. We empirically show our approach
outperforms competing baselines, obviating the need for complex pipelines.
Moreover, BERTese provides some insight into the type of language that helps
language models perform knowledge extraction.
- Abstract(参考訳): 大規模な事前訓練された言語モデルは、そのパラメータに大量の世界と常識の知識をエンコードすることが示されており、その知識を抽出する方法に大きな関心を寄せている。
過去の研究では、手作業によるクエリの取得と、別のパイプラインを使ったパラフレーズの収集によって知識が抽出された。
本研究では,より良い知識抽出に向けて直接最適化されたパラフレーズクエリ"BERTese"に自動書き換える手法を提案する。
意味のある書き換えを促進するために、クエリが実際の言語トークンに対応するように促す補助損失関数を追加します。
私たちのアプローチが競合するベースラインを上回ることを実証的に示し、複雑なパイプラインの必要性を回避します。
さらにBERTeseは、言語モデルが知識抽出を行うのに役立つ言語の種類に関する洞察を提供する。
関連論文リスト
- Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Structured prompt interrogation and recursive extraction of semantics
(SPIRES): A method for populating knowledge bases using zero-shot learning [1.3963666696384924]
SPIRES(Structured Prompt Interrogation and Recursive extract of Semantics)を提案する。
SPIRESは、ゼロショット学習(ZSL)と、柔軟なプロンプトから応答する汎用語彙を実行し、情報を特定のスキーマに返却するLarge Language Models(LLM)の機能に依存している。
現在のSPIRES精度は、既存のリレーショナル抽出(RE)メソッドの中間範囲に匹敵するが、簡単にカスタマイズでき、柔軟性があり、重要なことに、トレーニングデータがない場合に新しいタスクを実行する能力がある。
論文 参考訳(メタデータ) (2023-04-05T19:07:04Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳(メタデータ) (2022-12-19T11:26:23Z) - Towards Relation Extraction From Speech [56.36416922396724]
本稿では,新たな聴取情報抽出タスク,すなわち音声関係抽出を提案する。
本研究では,音声合成システムによる音声関係抽出のための訓練データセットを構築し,英語母語話者によるクラウドソーシングによるテストデータセットを構築した。
我々は,音声関係抽出における課題を識別するための包括的実験を行い,今後の探索に光を当てる可能性がある。
論文 参考訳(メタデータ) (2022-10-17T05:53:49Z) - DictBERT: Dictionary Description Knowledge Enhanced Language Model
Pre-training via Contrastive Learning [18.838291575019504]
事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。
辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。
我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-08-01T06:43:19Z) - Eliciting Knowledge from Language Models for Event Extraction [3.4448178503887807]
本稿では,イベントトリガ検出と引数抽出のための事前学習言語モデルから知識を抽出する。
本稿では,異なるトリガや引数間の相互作用をモデル化することにより,より相補的な知識を導き出す,様々な共同トリガ/引数プロンプト手法を提案する。
我々のアプローチは、少数のサンプルしかトレーニングに使用しない数ショットシナリオにおいて、最近の先進的な手法よりも優れている。
論文 参考訳(メタデータ) (2021-09-11T05:16:33Z) - Retrieval-Free Knowledge-Grounded Dialogue Response Generation with
Adapters [52.725200145600624]
軽量アダプタで事前学習した言語モデルに事前知識を注入し、検索プロセスをバイパスする KnowExpert を提案する。
実験結果から,KnowExpertは検索ベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2021-05-13T12:33:23Z) - Learning How to Ask: Querying LMs with Mixtures of Soft Prompts [33.43689407735244]
自然言語プロンプトは、最近、事前訓練された言語モデルを他のaiタスクを実行するために使用される。
勾配降下による学習促進の考え方を探求する。
それぞれのタスクに対して、プロンプトの混合を最適化し、どのプロンプトが最も効果的か、それらをアサンブルするかを学ぶ。
論文 参考訳(メタデータ) (2021-04-14T02:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。