論文の概要: An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2109.02772v1
• Date: Mon, 6 Sep 2021 23:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:41:40.118419
• Title: An Empirical Study on Few-shot Knowledge Probing for Pretrained Language Models
• Title（参考訳）: 事前学習型言語モデルのためのFew-shot Knowledge Probingに関する実証的研究
• Authors: Tianxing He, Kyunghyun Cho, James Glass
• Abstract要約: 1ホップと2ホップの双方において、いくつかの例は、探索性能を強く向上させることができることを示す。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチが、既存のプロンプトエンジニアリング手法より優れていることが分かる。
• 参考スコア（独自算出の注目度）: 54.74525882974022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based knowledge probing for 1-hop relations has been used to measure how much world knowledge is stored in pretrained language models. Existing work uses considerable amounts of data to tune the prompts for better performance. In this work, we compare a variety of approaches under a few-shot knowledge probing setting, where only a small number (e.g., 10 or 20) of example triples are available. In addition, we create a new dataset named TREx-2p, which contains 2-hop relations. We report that few-shot examples can strongly boost the probing performance for both 1-hop and 2-hop relations. In particular, we find that a simple-yet-effective approach of finetuning the bias vectors in the model outperforms existing prompt-engineering methods. Our dataset and code are available at \url{https://github.com/cloudygoose/fewshot_lama}.
• Abstract（参考訳）: 1-hop関係のプロンプトベースの知識探索は、事前訓練された言語モデルにどれだけの知識が格納されているかを測定するために用いられてきた。 既存の作業では、パフォーマンス向上のためにプロンプトをチューニングするために大量のデータを使用します。 本研究では,少数の三重項(例:10または20)しか利用できないような,数ショットの知識探索環境下での様々なアプローチを比較する。 さらに,2ホップ関係を含むTREx-2pという新しいデータセットを作成する。 我々は,1-hop関係と2-hop関係の両方の探索性能を,少数のサンプルで強く向上させることができることを報告した。 特に、モデル内のバイアスベクトルを微調整する単純なyet効果のアプローチは、既存のプロンプトエンジニアリング手法よりも優れている。 データセットとコードは \url{https://github.com/cloudygoose/fewshot_lama} で利用可能です。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• How to Unleash the Power of Large Language Models for Few-shot Relation Extraction? [28.413620806193165]
  本稿では,GPT-3.5による数ショット関係抽出のための主要な手法,文脈内学習とデータ生成について検討する。 テキスト内学習は,従来の素早い学習手法と同等のパフォーマンスを達成でき,大規模言語モデルによるデータ生成は,従来のソリューションを推し進めて,最先端の複数ショットの新たな結果が得られることを観察する。
  論文  参考訳（メタデータ） (2023-05-02T15:55:41Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning [109.7767515627765]
  本稿では,関係抽出のための新たな半パラメトリックなプロンプトチューニング手法を提案する。 我々のモデルは、トレーニング中に重みに格納された知識を通して関係を推測する。 本手法は,標準的な教師付き設定と少数ショット設定の両方で最先端を実現することができる。
  論文  参考訳（メタデータ） (2022-05-04T23:38:37Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Factual Probing Is [MASK]: Learning vs. Learning to Recall [8.668111159444273]
  ペトロニなど。 予め訓練された言語モデルから世界事実をクローゼスタイルのプロンプトとして表現することで取得可能であることを実証した。 これらの事実探索技術をよりよく理解するための2つの補完的な貢献をしている。 やや意外なことに、これらの方法が使用するトレーニングデータには、基礎となる事実分布の一定の正規性が含まれている。
  論文  参考訳（メタデータ） (2021-04-12T07:11:40Z)
• ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning [10.609715843964263]
  目に見える関係と見えない関係のテキスト記述を組み込んでゼロショット関係抽出問題を定式化する。 本稿では,手作りラベリングや複数対属性分類を使わずに,目に見えない関係を直接予測する,新しいマルチタスク学習モデルであるゼロショットBERTを提案する。 2つのよく知られたデータセットで行われた実験では、ZS-BERTが少なくとも13.54%のF1スコアの改善によって既存の方法より優れていることが示されています。
  論文  参考訳（メタデータ） (2021-04-10T06:53:41Z)
• Deep Indexed Active Learning for Matching Heterogeneous Entity Representations [20.15233789156307]
  本稿では,ブロッキングのリコールとブロックペアのマッチング精度を最大化するために,組込みを共同で学習するスケーラブルなアクティブラーニング手法であるdiardを提案する。 5つのベンチマークデータセットと多言語レコードマッチングデータセットの実験は、精度、リコール、実行時間の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2021-04-08T18:00:19Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。