論文の概要: Are Pretrained Language Models Symbolic Reasoners Over Knowledge?

• arxiv url: http://arxiv.org/abs/2006.10413v2
• Date: Sat, 10 Oct 2020 10:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 13:50:38.240111
• Title: Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
• Title（参考訳）: 事前訓練された言語モデルは知識に関する象徴的推論か?
• Authors: Nora Kassner, Benno Krojer, Hinrich Sch\"utze
• Abstract要約: 推論と記憶の2つの重要なメカニズムについて検討する。 推論では, PLMは記号的推論規則を正しく適用することを学ぶが, 2ホップ推論など他の手法と競合する。 記憶化のために、スキーマの整合性(他の事実によって体系的に支持されるもの)と周波数を、その成功の鍵となる要因として識別する。
• 参考スコア（独自算出の注目度）: 5.480912891689259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How can pretrained language models (PLMs) learn factual knowledge from the training set? We investigate the two most important mechanisms: reasoning and memorization. Prior work has attempted to quantify the number of facts PLMs learn, but we present, using synthetic data, the first study that investigates the causal relation between facts present in training and facts learned by the PLM. For reasoning, we show that PLMs seem to learn to apply some symbolic reasoning rules correctly but struggle with others, including two-hop reasoning. Further analysis suggests that even the application of learned reasoning rules is flawed. For memorization, we identify schema conformity (facts systematically supported by other facts) and frequency as key factors for its success.
• Abstract（参考訳）: 事前学習された言語モデル(plm)は、トレーニングセットから事実知識をどのように学習するか? 推論と記憶の2つの重要なメカニズムについて検討する。 これまでの研究では, PLMが学習する事実の数を定量化しようと試みてきたが, 合成データを用いて, PLMが学習した事実とトレーニングに存在する事実の因果関係を調査した最初の研究である。 推論では, PLMは記号的推論規則を正しく適用することを学ぶが, 2ホップ推論など他の手法と競合する。 さらなる分析は、学習した推論規則の適用さえも欠陥があることを示唆している。 記憶のために、私たちはスキーマの適合性(他の事実によって体系的にサポートされている事実)と頻度を成功の重要な要因として特定します。

関連論文リスト

• On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
  大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。 微調整は暗記を重くするが,常に一般化性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:31:54Z)
• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models [15.057992220389604]
  言語モデルは事実の知識を扱うのに苦労し、事実の幻覚の問題を呈する。 本稿では,エンコーダとデコーダを用いた事前学習言語モデルの知識リコール能力を評価するための知識探索ベンチマークBELIEF(ICL)を提案する。 非常に多様なプロンプトを持つMyriadLAMAを半自動で作成します。
  論文  参考訳（メタデータ） (2024-06-18T05:11:35Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models [2.3981254787726067]
  事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T11:57:13Z)
• Do PLMs Know and Understand Ontological Knowledge? [72.48752398867651]
  オントロジー知識はクラスと性質とそれらの関係から構成される。 このような知識をPLM(Pretrained Language Models)が理解し理解しているかどうかを検討することは重要である。 以上の結果から, PLMは特定の存在論的知識を記憶し, 推論における暗黙的知識を活用できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-12T03:20:50Z)
• Can Pretrained Language Models (Yet) Reason Deductively? [72.9103833294272]
  PLMの学習可能な推論能力(明示的推論能力)を総合的に評価する。 本研究の主目的は, PLMがまだ信頼性の高い導出的推論を行うことができないことである。 PLMは人間レベルの推論能力からは程遠いことがわかりました。
  論文  参考訳（メタデータ） (2022-10-12T17:44:15Z)
• How Pre-trained Language Models Capture Factual Knowledge? A Causal-Inspired Analysis [43.86843444052966]
  PLMは, 効果的な手がかりやショートカットパターンに頼って, 欠落した単語を生成する方法を示す。 欠落した単語に典型的な3つの関連がある単語(知識依存、位置近接、高度に共起する単語)をチェックする。 PLMは、不適切な関連性に依存するため、事実知識を効果的に捉えていないと結論付けている。
  論文  参考訳（メタデータ） (2022-03-31T02:01:26Z)
• KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models [28.82149012250609]
  我々はKMIR(Knowledge Memorization, Identification and Reasoning test)というベンチマークを提案する。 KMIRは、一般的な知識、ドメイン固有の知識、常識を含む3種類の知識をカバーし、よく設計された184,348の質問を提供する。 KMIR上での様々な代表的な事前学習言語モデルによる予備実験は、多くの興味深い現象を示す。
  論文  参考訳（メタデータ） (2022-02-28T03:52:57Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。