論文の概要: Not All Large Language Models (LLMs) Succumb to the "Reversal Curse": A
Comparative Study of Deductive Logical Reasoning in BERT and GPT Models
- arxiv url: http://arxiv.org/abs/2312.03633v1
- Date: Wed, 6 Dec 2023 17:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 14:13:26.381191
- Title: Not All Large Language Models (LLMs) Succumb to the "Reversal Curse": A
Comparative Study of Deductive Logical Reasoning in BERT and GPT Models
- Title(参考訳): 全大言語モデル(LLM)が「逆曲線」に収まるわけではない:BERTモデルとGPTモデルにおける推論論理的推論の比較
- Authors: Jingye Yang, Da Wu, Kai Wang
- Abstract要約: 逆カース(Reversal Curse)とは、自動回帰デコーダの大言語モデル(LLM)が"B is A"を学習できないシナリオを指す。
これにより、知識グラフの構築など、ある種の一般的なタスクにGPTモデルを使用することで、赤旗を掲げる。
そこで本研究では,両方向性 LLM であるBERT について検討し,逆行性呪いに対する免疫性が確認された。
- 参考スコア(独自算出の注目度): 4.090570781942863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The "Reversal Curse" refers to the scenario where auto-regressive decoder
large language models (LLMs), such as ChatGPT, trained on "A is B" fail to
learn "B is A", demonstrating a basic failure of logical deduction. This raises
a red flag in the use of GPT models for certain general tasks such as
constructing knowledge graphs, considering their adherence to this symmetric
principle. In our study, we examined a bidirectional LLM, BERT, and found that
it is immune to the reversal curse. Driven by ongoing efforts to construct
biomedical knowledge graphs with LLMs, we also embarked on evaluating more
complex but essential deductive reasoning capabilities. This process included
first training encoder and decoder language models to master the intersection
($\cap$) and union ($\cup$) operations on two sets and then moving on to assess
their capability to infer different combinations of union ($\cup$) and
intersection ($\cap$) operations on three newly created sets. The findings
showed that while both encoder and decoder language models, trained for tasks
involving two sets (union/intersection), were proficient in such scenarios,
they encountered difficulties when dealing with operations that included three
sets (various combinations of union and intersection). Our research highlights
the distinct characteristics of encoder and decoder models in simple and
complex logical reasoning. In practice, the choice between BERT and GPT should
be guided by the specific requirements and nature of the task at hand,
leveraging their respective strengths in bidirectional context comprehension
and sequence prediction.
- Abstract(参考訳): 逆カース(Reversal Curse)とは、"A is B"で訓練されたChatGPTのような自動回帰デコーダ(LLM)が"B is A"を学習できず、論理的推論の基本的な失敗を示すシナリオを指す。
このことは、知識グラフの構成のようなある種の一般的なタスクにGPTモデルを使用する際に、この対称原理に固執することを考慮して赤旗を掲げる。
そこで本研究では,両方向性 LLM であるBERT について検討し,逆行性呪いに対する免疫性が確認された。
LLMを用いて生物医学知識グラフを構築するための継続的な取り組みによって、我々はさらに複雑だが本質的な推論能力の評価にも取り組みました。
このプロセスには、最初のトレーニングエンコーダとデコーダ言語モデルが含まれており、2つのセットの交差点($\cap$)とユニオン($\cup$)の操作をマスターし、3つの新しく作成されたセットのユニオン($\cup$)と交差点($\cap$)の異なる組み合わせを推測する能力の評価を行う。
その結果、エンコーダとデコーダの両方の言語モデルでは、2つのセット(結合/相互作用)を含むタスクを訓練する一方で、3つのセット(結合と交叉のさまざまな組み合わせ)を含む操作を扱う場合の困難さに遭遇した。
本研究では,エンコーダモデルとデコーダモデルの異なる特徴を,単純かつ複雑な論理推論で強調する。
実際には、BERT と GPT の選択は、そのタスクの具体的な要件と性質によって導かれるべきであり、それぞれの強みを双方向のコンテキスト理解とシーケンス予測に活用する。
関連論文リスト
- In-context Learning Generalizes, But Not Always Robustly: The Case of
Syntax [40.40069999922899]
In-context Learning (ICL)は、大規模言語モデル(LLM)を監督する一般的な方法である。
ICLの普及と実用性にもかかわらず、このような方法で教師付きモデルがタスクの基盤構造を表すかどうかはほとんど分かっていない。
論文 参考訳(メタデータ) (2023-11-13T23:52:43Z) - Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。
本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。
我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
論文 参考訳(メタデータ) (2023-11-09T21:43:27Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳(メタデータ) (2023-10-25T23:32:12Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳(メタデータ) (2023-10-23T17:58:40Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - Generalization on the Unseen, Logic Reasoning and Degree Curriculum [33.777993397106584]
本稿では,GOTU設定の一般化に着目した論理関数の学習について考察する。
我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。
本稿では,トランスフォーマー,ランダム特徴モデル,対角線ネットワークなどを含むネットワークモデルのクラスについて,その見当たらない部分でmin-degree-interpolatorを学習することを示す。
論文 参考訳(メタデータ) (2023-01-30T17:44:05Z) - Language Models of Code are Few-Shot Commonsense Learners [106.1531522893209]
自然言語入力が与えられた場合、目標はイベントや推論グラフなどのグラフを生成することだ。
既存のアプローチは、出力グラフをノードとエッジのフラットリストとしてシリアライズする。
コード生成タスクとして構造化コモンセンス推論タスクをフレーム化する場合、事前学習されたコードLMは自然言語のLMよりも構造化コモンセンス推論タスクの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-10-13T16:09:36Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-17T16:23:45Z) - Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say"
Sequence [0.0]
ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。
パズルデータ「Look and Say」の2つのセット実験について報告する。
トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
論文 参考訳(メタデータ) (2021-09-27T01:41:37Z) - oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。
基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
論文 参考訳(メタデータ) (2019-12-31T12:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。