論文の概要: IELM: An Open Information Extraction Benchmark for Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2210.14128v1
• Date: Tue, 25 Oct 2022 16:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 12:51:39.268261
• Title: IELM: An Open Information Extraction Benchmark for Pre-Trained Language Models
• Title（参考訳）: IELM: 事前学習言語モデルのためのオープン情報抽出ベンチマーク
• Authors: Chenguang Wang, Xiao Liu, Dawn Song
• Abstract要約: 我々は、事前学習言語モデル(LM)のための新しいオープン情報抽出(OIE)ベンチマークを導入する。 我々は、事前訓練されたLMに存在するオープンリレーショナル情報を十分に検証することを目的としたOIEベンチマークを作成する。 驚いたことに、事前訓練されたLMは、両方の標準OIEデータセットで競合する性能を得ることができる。
• 参考スコア（独自算出の注目度）: 75.48081086368606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new open information extraction (OIE) benchmark for pre-trained language models (LM). Recent studies have demonstrated that pre-trained LMs, such as BERT and GPT, may store linguistic and relational knowledge. In particular, LMs are able to answer ``fill-in-the-blank'' questions when given a pre-defined relation category. Instead of focusing on pre-defined relations, we create an OIE benchmark aiming to fully examine the open relational information present in the pre-trained LMs. We accomplish this by turning pre-trained LMs into zero-shot OIE systems. Surprisingly, pre-trained LMs are able to obtain competitive performance on both standard OIE datasets (CaRB and Re-OIE2016) and two new large-scale factual OIE datasets (TAC KBP-OIE and Wikidata-OIE) that we establish via distant supervision. For instance, the zero-shot pre-trained LMs outperform the F1 score of the state-of-the-art supervised OIE methods on our factual OIE datasets without needing to use any training sets. Our code and datasets are available at https://github.com/cgraywang/IELM
• Abstract（参考訳）: 我々は、事前学習言語モデル(LM)のための新しいオープン情報抽出(OIE)ベンチマークを導入する。 近年の研究では、BERT や GPT のような事前訓練された LM が言語的および関係的な知識を格納できることが示されている。 特に、LMは事前定義された関係圏を与えると ``fill-in-the-blank''' の質問に答えることができる。 事前定義された関係に焦点をあてるのではなく、事前学習されたLMに存在するオープンリレーショナル情報を十分に検証することを目的としたOIEベンチマークを作成する。 我々は、事前訓練されたLMをゼロショットOIEシステムに変換することで、これを実現する。 驚いたことに、トレーニング済みのLMは、標準的なOIEデータセット(CaRBとRe-OIE2016)と、私たちが遠隔監視によって確立した2つの新しい大規模ファクトリアルOIEデータセット(TAC KBP-OIEとWikidata-OIE)で競合する性能を得ることができる。 例えば、ゼロショット事前訓練されたLMは、トレーニングセットを使わずに、実際のOIEデータセット上の最先端の教師付きOIEメソッドのF1スコアよりも優れています。 私たちのコードとデータセットはhttps://github.com/cgraywang/ielmで利用可能です。

関連論文リスト

• LM-PUB-QUIZ: A Comprehensive Framework for Zero-Shot Evaluation of Relational Knowledge in Language Models [2.1311017627417]
  知識探索は、言語モデル(LM)が事前学習期間中に関係知識を取得する程度を評価する。 提案するLM-PUB-QUIZは,BEAR探索機構を中心に構築されたPythonフレームワークとリーダボードである。
  論文  参考訳（メタデータ） (2024-08-28T11:44:52Z)
• BEAR: A Unified Framework for Evaluating Relational Knowledge in Causal and Masked Language Models [2.2863439039616127]
  調査は、言語モデル(LM)が事前学習中に関係知識を習得した度合いを評価する。 従来のアプローチは、事前学習するLMで使用される目的関数に依存していた。 本稿では,ある文章文のログ類似度を推定する,LM固有の能力を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-05T14:13:55Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Meet in the Middle: A New Pre-training Paradigm [41.52858444519968]
  ほとんどの言語モデル(LM)は、自己回帰的な左から右の方法で訓練され、適用されます。 本稿では,トレーニングデータ効率を協調的に向上させる技術を備えた,新たな事前学習パラダイムを提案する。 本稿では,プログラムモデルと自然言語モデルの両方に関する広範な実験により,事前学習パラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2023-03-13T17:17:11Z)
• An Interpretability Evaluation Benchmark for Pre-trained Language Models [37.16893581395874]
  英語と中国語の両方の注釈付きデータを提供する新しい評価ベンチマークを提案する。 複数の次元(文法、意味論、知識、推論、計算など)でLMの能力をテストする。 各元のインスタンスに対する摂動インスタンスを含み、摂動の下での有理整合を忠実性の計量として使う。
  論文  参考訳（メタデータ） (2022-07-28T08:28:09Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining [51.19885385587916]
  我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。 我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
  論文  参考訳（メタデータ） (2020-11-17T13:39:05Z)
• Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms [36.04356511882304]
  自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。 データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
  論文  参考訳（メタデータ） (2020-06-19T05:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。