論文の概要: Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
- arxiv url: http://arxiv.org/abs/2006.10413v2
- Date: Sat, 10 Oct 2020 10:09:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 13:50:38.240111
- Title: Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
- Title(参考訳): 事前訓練された言語モデルは知識に関する象徴的推論か?
- Authors: Nora Kassner, Benno Krojer, Hinrich Sch\"utze
- Abstract要約: 推論と記憶の2つの重要なメカニズムについて検討する。
推論では, PLMは記号的推論規則を正しく適用することを学ぶが, 2ホップ推論など他の手法と競合する。
記憶化のために、スキーマの整合性(他の事実によって体系的に支持されるもの)と周波数を、その成功の鍵となる要因として識別する。
- 参考スコア(独自算出の注目度): 5.480912891689259
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can pretrained language models (PLMs) learn factual knowledge from the
training set? We investigate the two most important mechanisms: reasoning and
memorization. Prior work has attempted to quantify the number of facts PLMs
learn, but we present, using synthetic data, the first study that investigates
the causal relation between facts present in training and facts learned by the
PLM. For reasoning, we show that PLMs seem to learn to apply some symbolic
reasoning rules correctly but struggle with others, including two-hop
reasoning. Further analysis suggests that even the application of learned
reasoning rules is flawed. For memorization, we identify schema conformity
(facts systematically supported by other facts) and frequency as key factors
for its success.
- Abstract(参考訳): 事前学習された言語モデル(plm)は、トレーニングセットから事実知識をどのように学習するか?
推論と記憶の2つの重要なメカニズムについて検討する。
これまでの研究では, PLMが学習する事実の数を定量化しようと試みてきたが, 合成データを用いて, PLMが学習した事実とトレーニングに存在する事実の因果関係を調査した最初の研究である。
推論では, PLMは記号的推論規則を正しく適用することを学ぶが, 2ホップ推論など他の手法と競合する。
さらなる分析は、学習した推論規則の適用さえも欠陥があることを示唆している。
記憶のために、私たちはスキーマの適合性(他の事実によって体系的にサポートされている事実)と頻度を成功の重要な要因として特定します。
関連論文リスト
- Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained
Language Models [2.3981254787726067]
事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。
このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。
本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
論文 参考訳(メタデータ) (2023-10-25T11:57:13Z) - Large Language Models can Learn Rules [111.74335251955804]
大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。
数値的推論問題と関係的推論問題の両方の実験は、HtTが既存のプロンプト法を改善することを示している。
学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
論文 参考訳(メタデータ) (2023-10-10T23:07:01Z) - Do PLMs Know and Understand Ontological Knowledge? [72.48752398867651]
オントロジー知識はクラスと性質とそれらの関係から構成される。
このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。
以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
論文 参考訳(メタデータ) (2023-09-12T03:20:50Z) - Can Pretrained Language Models (Yet) Reason Deductively? [72.9103833294272]
PLMの学習可能な推論能力(明示的推論能力)を総合的に評価する。
本研究の主目的は, PLMがまだ信頼性の高い導出的推論を行うことができないことである。
PLMは人間レベルの推論能力からは程遠いことがわかりました。
論文 参考訳(メタデータ) (2022-10-12T17:44:15Z) - How Pre-trained Language Models Capture Factual Knowledge? A
Causal-Inspired Analysis [43.86843444052966]
PLMは, 効果的な手がかりやショートカットパターンに頼って, 欠落した単語を生成する方法を示す。
欠落した単語に典型的な3つの関連がある単語(知識依存、位置近接、高度に共起する単語)をチェックする。
PLMは、不適切な関連性に依存するため、事実知識を効果的に捉えていないと結論付けている。
論文 参考訳(メタデータ) (2022-03-31T02:01:26Z) - KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification
and Reasoning Abilities of Language Models [28.82149012250609]
我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。
KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。
KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
論文 参考訳(メタデータ) (2022-02-28T03:52:57Z) - Fact-driven Logical Reasoning for Machine Reading Comprehension [82.58857437343974]
私たちは、常識と一時的な知識のヒントの両方を階層的にカバーする動機があります。
具体的には,文の背骨成分を抽出し,知識単位の一般的な定式化を提案する。
次に、事実単位の上にスーパーグラフを構築し、文レベル(事実群間の関係)と実体レベルの相互作用の利点を享受する。
論文 参考訳(メタデータ) (2021-05-21T13:11:13Z) - Do Language Embeddings Capture Scales? [54.1633257459927]
事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。
我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
論文 参考訳(メタデータ) (2020-10-11T21:11:09Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳(メタデータ) (2020-06-11T17:02:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。