論文の概要: Crawling the Internal Knowledge-Base of Language Models
- arxiv url: http://arxiv.org/abs/2301.12810v1
- Date: Mon, 30 Jan 2023 12:03:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 14:58:39.235196
- Title: Crawling the Internal Knowledge-Base of Language Models
- Title（参考訳）: 言語モデルの内部知識ベースをクローリングする
- Authors: Roi Cohen, Mor Geva, Jonathan Berant, Amir Globerson
- Abstract要約: 本稿では,言語モデルの内部知識ベースである「クローリング」の手順について述べる。
我々は、数十のシードエンティティから始まるグラフのクローリングに対するアプローチを評価した。
- 参考スコア（独自算出の注目度）: 53.95793060766248
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are trained on large volumes of text, and as a result their
parameters might contain a significant body of factual knowledge. Any
downstream task performed by these models implicitly builds on these facts, and
thus it is highly desirable to have means for representing this body of
knowledge in an interpretable way. However, there is currently no mechanism for
such a representation. Here, we propose to address this goal by extracting a
knowledge-graph of facts from a given language model. We describe a procedure
for ``crawling'' the internal knowledge-base of a language model. Specifically,
given a seed entity, we expand a knowledge-graph around it. The crawling
procedure is decomposed into sub-tasks, realized through specially designed
prompts that control for both precision (i.e., that no wrong facts are
generated) and recall (i.e., the number of facts generated). We evaluate our
approach on graphs crawled starting from dozens of seed entities, and show it
yields high precision graphs (82-92%), while emitting a reasonable number of
facts per entity.
- Abstract（参考訳）: 言語モデルは大量のテキストに基づいて訓練され、その結果、それらのパラメータには重要な事実知識が含まれているかもしれない。
これらのモデルによって実行されるダウンストリームタスクは、これらの事実を暗黙的に構築するので、解釈可能な方法でこの知識の体系を表現する手段を持つことが非常に望ましい。
しかし、現在ではそのような表現のメカニズムは存在しない。
本稿では,与えられた言語モデルから事実の知識グラフを抽出することで,この目標を達成することを提案する。
我々は,言語モデルの内部知識ベースである`crawling'の手続きについて述べる。
具体的には、シードエンティティを前提として、知識グラフを拡張します。
クローリング手順は、精度(すなわち、誤った事実が生成されない)とリコール(すなわち、生成された事実の数)の両方を制御する特別に設計されたプロンプトによって実現されるサブタスクに分解される。
我々は、数十のシードエンティティからクロールしたグラフに対するアプローチを評価し、精度の高いグラフ(82-92%)を出力し、エンティティ毎に妥当な事実を出力することを示した。
関連論文リスト
- Transparency at the Source: Evaluating and Interpreting Language Models
With Access to the True Distribution [4.01799362940916]
人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。
データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。
基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
論文 参考訳（メタデータ） (2023-10-23T12:03:01Z) - Knowledge Graph Guided Semantic Evaluation of Language Models For User
Trust [7.063958622970576]
本研究では、明示的な知識グラフ構造を利用して、自己注意変換器の符号化意味性を評価する。
言語モデルの不透明さは、信頼と説明可能な決定結果の社会的問題に大きく影響している。
論文 参考訳（メタデータ） (2023-05-08T18:53:14Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳（メタデータ） (2022-12-07T18:17:56Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳（メタデータ） (2020-12-30T20:40:48Z) - Do Language Embeddings Capture Scales? [54.1633257459927]
事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。
我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
論文 参考訳（メタデータ） (2020-10-11T21:11:09Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。