論文の概要: RelBERT: Embedding Relations with Language Models
- arxiv url: http://arxiv.org/abs/2310.00299v2
- Date: Sun, 8 Oct 2023 16:22:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 02:39:40.014171
- Title: RelBERT: Embedding Relations with Language Models
- Title(参考訳): RelBERT: 言語モデルとの関係を埋め込む
- Authors: Asahi Ushio, Jose Camacho-Collados, Steven Schockaert
- Abstract要約: 比較的小さな言語モデルから関係埋め込みを抽出する。
RelBERTは驚くほど微細な方法でリレーショナル類似性をキャプチャする。
トレーニング中にモデルが見た以上の関係をモデル化することが可能です。
- 参考スコア(独自算出の注目度): 29.528217625083546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many applications need access to background knowledge about how different
concepts and entities are related. Although Knowledge Graphs (KG) and Large
Language Models (LLM) can address this need to some extent, KGs are inevitably
incomplete and their relational schema is often too coarse-grained, while LLMs
are inefficient and difficult to control. As an alternative, we propose to
extract relation embeddings from relatively small language models. In
particular, we show that masked language models such as RoBERTa can be
straightforwardly fine-tuned for this purpose, using only a small amount of
training data. The resulting model, which we call RelBERT, captures relational
similarity in a surprisingly fine-grained way, allowing us to set a new
state-of-the-art in analogy benchmarks. Crucially, RelBERT is capable of
modelling relations that go well beyond what the model has seen during
training. For instance, we obtained strong results on relations between named
entities with a model that was only trained on lexical relations between
concepts, and we observed that RelBERT can recognise morphological analogies
despite not being trained on such examples. Overall, we find that RelBERT
significantly outperforms strategies based on prompting language models that
are several orders of magnitude larger, including recent GPT-based models and
open source models.
- Abstract(参考訳): 多くのアプリケーションは、異なる概念とエンティティがどのように関連しているかに関する背景知識にアクセスする必要がある。
知識グラフ(KG)とLarge Language Models(LLM)はこのニーズにある程度対処できるが、KGは必然的に不完全であり、その関係スキーマはしばしば粗い粒度であり、LLMは非効率で制御が難しい。
代替として,比較的小さな言語モデルから関係埋め込みを抽出することを提案する。
特に,RoBERTaのようなマスキング言語モデルは,少量のトレーニングデータのみを用いて,この目的のために簡単に微調整できることを示す。
結果として得られたモデルはRelBERTと呼ばれ、驚くほど微細な方法でリレーショナル類似性をキャプチャし、アナログベンチマークで新しい最先端を設定できます。
重要なことは、RelBERTはトレーニング中にモデルが見た以上の関係をモデル化することができる。
例えば、概念間の語彙関係のみを訓練したモデルを用いた名前付きエンティティ間の関係について、強い結果が得られ、RelBERTがそのような例では訓練されていないにもかかわらず、形態的類似を認識できることを示した。
全体として、RelBERTは、最近のGPTベースモデルやオープンソースモデルなど、数桁の規模を持つ言語モデルにより、戦略を著しく上回ります。
関連論文リスト
- Grasping the Essentials: Tailoring Large Language Models for Zero-Shot
Relation Extraction [36.627683488532234]
関係抽出(RE)は、テキストで言及されたエンティティ間の意味的関係を識別することを目的としている。
標的関係のセマンティクスを理解するために、不完全で偏見のある監視を提供するような学習設定はほとんどない。
本稿では、自然言語で表現された関係定義のみを用いてREモデルを訓練するゼロショットRE設定について検討する。
論文 参考訳(メタデータ) (2024-02-17T00:20:06Z) - RAVEN: In-Context Learning with Retrieval Augmented Encoder-Decoder
Language Models [60.53467388496444]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
我々は、RAVENがATLASを著しく上回り、特定のシナリオにおいて最も先進的な言語モデルに匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - A RelEntLess Benchmark for Modelling Graded Relations between Named
Entities [29.528217625083546]
我々は,与えられた次数関係をどの程度満たすかに応じて,エンティティペアをランク付けしなければならない新しいベンチマークを導入する。
モデルのサイズと性能の間には強い相関関係があり、より小さな言語モデルでは単純なベースラインを上回りません。
最大のFlan-T5およびOPTモデルの結果は極めて強いが、人間のパフォーマンスとの明確なギャップは残る。
論文 参考訳(メタデータ) (2023-05-24T10:41:24Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
テキスト分類とランキングのための統一的なフレームワークを提案する。
本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。
CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
論文 参考訳(メタデータ) (2022-11-19T12:03:30Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Representing Knowledge by Spans: A Knowledge-Enhanced Model for
Information Extraction [7.077412533545456]
本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。
スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
論文 参考訳(メタデータ) (2022-08-20T07:32:25Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳(メタデータ) (2022-07-21T07:35:18Z) - Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。
本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。
この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
論文 参考訳(メタデータ) (2021-11-16T15:18:01Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳(メタデータ) (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。