論文の概要: Can Pretrained Language Models (Yet) Reason Deductively?
- arxiv url: http://arxiv.org/abs/2210.06442v1
- Date: Wed, 12 Oct 2022 17:44:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 14:20:26.439182
- Title: Can Pretrained Language Models (Yet) Reason Deductively?
- Title(参考訳): 事前訓練された言語モデル(Yet)は推論可能か?
- Authors: Zhangdie Yuan, Songbo Hu, Ivan Vuli\'c, Anna Korhonen and Zaiqiao Meng
- Abstract要約: PLMの学習可能な推論能力(明示的推論能力)を総合的に評価する。
本研究の主目的は, PLMがまだ信頼性の高い導出的推論を行うことができないことである。
PLMは人間レベルの推論能力からは程遠いことがわかりました。
- 参考スコア(独自算出の注目度): 72.9103833294272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Acquiring factual knowledge with Pretrained Language Models (PLMs) has
attracted increasing attention, showing promising performance in many
knowledge-intensive tasks. Their good performance has led the community to
believe that the models do possess a modicum of reasoning competence rather
than merely memorising the knowledge. In this paper, we conduct a comprehensive
evaluation of the learnable deductive (also known as explicit) reasoning
capability of PLMs. Through a series of controlled experiments, we posit two
main findings. (i) PLMs inadequately generalise learned logic rules and perform
inconsistently against simple adversarial surface form edits. (ii) While the
deductive reasoning fine-tuning of PLMs does improve their performance on
reasoning over unseen knowledge facts, it results in catastrophically
forgetting the previously learnt knowledge. Our main results suggest that PLMs
cannot yet perform reliable deductive reasoning, demonstrating the importance
of controlled examinations and probing of PLMs' reasoning abilities; we reach
beyond (misleading) task performance, revealing that PLMs are still far from
human-level reasoning capabilities, even for simple deductive tasks.
- Abstract(参考訳): 事前学習言語モデル(PLM)による事実知識獲得は,多くの知識集約タスクにおいて有望なパフォーマンスを示すものとして注目されている。
彼らの優れたパフォーマンスは、モデルが単に知識を記憶するだけでなく、推論能力のモディカムを持っていると信じさせてきた。
本稿では, PLMの学習可能な推論能力(明示的推論能力)を総合的に評価する。
一連の制御実験により, 2つの主な知見が得られた。
i) PLMは学習論理規則を不十分に一般化し、単純な対向曲面の編集と矛盾しない。
2) PLMの微調整は, 未知の知識事実を推論することで, 性能を向上するが, これまでに学んだ知識を破滅的に忘れてしまう。
本研究の主目的は, PLM が信頼性の高い推論を行うことができないこと, 制御試験の重要性, PLM の推論能力の実証, タスク性能の(誤解を招いた)超過, PLM が人間レベルの推論能力からかけ離れていること, たとえ単純な推論タスクであっても, 依然として PLM は人間レベルの推論能力に程遠いこと, などである。
関連論文リスト
- Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。
それにもかかわらず、一般的な事実に支えられた単純な質問をタスクすると、LCMは一貫性のある正確な答えを提供しないことが多い。
このことは、LSMが真に推論しているのか、単に記憶しているだけなのか、という活発な議論を引き起こしている。
論文 参考訳(メタデータ) (2024-03-14T04:06:13Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - From Heuristic to Analytic: Cognitively Motivated Strategies for
Coherent Physical Commonsense Reasoning [66.98861219674039]
ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。
以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-24T19:46:04Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of
Language Models with Hypothesis Refinement [95.10400704620797]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳(メタデータ) (2023-10-12T17:51:10Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Evaluating the Deductive Competence of Large Language Models [0.26206189324400636]
本稿では,いくつかの大規模言語モデル (LLM) が,古典的な帰納的推論問題を解くことができるかどうかを考察する。
性能は条件によって異なるが、全体的な性能は改善されない。
人的パフォーマンスとは違って,プレゼンテーション形式やコンテンツとのインタラクションが予期せぬ形で行われていることが判明した。
論文 参考訳(メタデータ) (2023-09-11T13:47:07Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。
本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。
評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
論文 参考訳(メタデータ) (2021-09-24T16:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。