論文の概要: Distilling Relation Embeddings from Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2110.15705v1
• Date: Tue, 21 Sep 2021 15:05:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 03:14:50.742443
• Title: Distilling Relation Embeddings from Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルからの蒸留関係埋め込み
• Authors: Asahi Ushio and Jose Camacho-Collados and Steven Schockaert
• Abstract要約: 事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。 我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。 結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
• 参考スコア（独自算出の注目度）: 35.718167335989854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models have been found to capture a surprisingly rich amount of lexical knowledge, ranging from commonsense properties of everyday concepts to detailed factual knowledge about named entities. Among others, this makes it possible to distill high-quality word vectors from pre-trained language models. However, it is currently unclear to what extent it is possible to distill relation embeddings, i.e. vectors that characterize the relationship between two words. Such relation embeddings are appealing because they can, in principle, encode relational knowledge in a more fine-grained way than is possible with knowledge graphs. To obtain relation embeddings from a pre-trained language model, we encode word pairs using a (manually or automatically generated) prompt, and we fine-tune the language model such that relationally similar word pairs yield similar output vectors. We find that the resulting relation embeddings are highly competitive on analogy (unsupervised) and relation classification (supervised) benchmarks, even without any task-specific fine-tuning. Source code to reproduce our experimental results and the model checkpoints are available in the following repository: https://github.com/asahi417/relbert
• Abstract（参考訳）: 事前学習された言語モデルは、日常概念の常識的性質から、名前付きエンティティに関する詳細な事実知識まで、驚くほど豊富な語彙知識を捉えている。 これにより、事前学習された言語モデルから高品質な単語ベクトルを蒸留することができる。 しかし、現在、関係埋め込み、すなわち2つの単語間の関係を特徴づけるベクトルをどの程度蒸留することができるかは分かっていない。 このような関係埋め込みは、原則として、関係知識をナレッジグラフよりもきめ細かい方法でエンコードできるため、魅力的である。 事前学習された言語モデルから関係埋め込みを得るため、(手動または自動生成)プロンプトを用いて単語ペアを符号化し、関係的に類似した単語ペアが同様の出力ベクトルを生成するように言語モデルを微調整する。 結果として得られた関係埋め込みは、タスク固有の微調整がなくても、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合することがわかった。 実験結果を再現するためのソースコードとモデルチェックポイントは以下のリポジトリで利用可能です。

関連論文リスト

• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Modelling Commonsense Properties using Pre-Trained Bi-Encoders [40.327695801431375]
  概念とその特性をモデル化するための微調整言語モデルの可能性について検討する。 実験結果から,得られたエンコーダにより,より高い精度でコモンセンス特性を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T09:17:34Z)
• Towards a Theoretical Understanding of Word and Relation Representation [8.020742121274418]
  ベクトルまたは埋め込みによる単語の表現は、計算的推論を可能にする。 テキストコーパスと知識グラフから学習した単語埋め込みに注目した。
  論文  参考訳（メタデータ） (2022-02-01T15:34:58Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Fusing Context Into Knowledge Graph for Commonsense Reasoning [21.33294077354958]
  外部エンティティ記述を利用して,グラフエンティティのコンテキスト情報を提供する。 CommonsenseQAタスクでは、まず質問と選択から概念を抽出し、これらの概念の間に関連するトリプルを見つけます。 CommonsenseQAデータセットでは、80.7%(シングルモデル)と83.3%(アンサンブルモデル)の精度で最新の結果を達成しています。
  論文  参考訳（メタデータ） (2020-12-09T00:57:49Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。