論文の概要: Empower Nested Boolean Logic via Self-Supervised Curriculum Learning

• arxiv url: http://arxiv.org/abs/2310.05450v2
• Date: Sun, 31 Dec 2023 04:20:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 01:36:09.454110
• Title: Empower Nested Boolean Logic via Self-Supervised Curriculum Learning
• Title（参考訳）: 自己教師付きカリキュラム学習によるネステッドブール論理の強化
• Authors: Hongqiu Wu, Linfeng Liu, Hai Zhao, Min Zhang
• Abstract要約: 大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
• 参考スコア（独自算出の注目度）: 67.46052028752327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beyond the great cognitive powers showcased by language models, it is crucial to scrutinize whether their reasoning capabilities stem from strong generalization or merely exposure to relevant data. As opposed to constructing increasingly complex logic, this paper probes into the boolean logic, the root capability of a logical reasoner. We find that any pre-trained language models even including large language models only behave like a random selector in the face of multi-nested boolean logic, a task that humans can handle with ease. To empower language models with this fundamental capability, this paper proposes a new self-supervised learning method \textit{Curriculum Logical Reasoning} (\textsc{Clr}), where we augment the training data with nested boolean logic chain step-by-step, and program the training from simpler logical patterns gradually to harder ones. This new training paradigm allows language models to effectively generalize to much harder and longer-hop logic, which can hardly be learned through naive training. Furthermore, we show that boolean logic is a great foundation for improving the subsequent general logical tasks.
• Abstract（参考訳）: 言語モデルによって示される大きな認知能力を超えて、その推論能力が強い一般化に起因するのか、単に関連するデータへの露出に起因するのかを精査することが重要である。 複雑な論理を構成するのとは対照的に,本論文では論理推論器の根元能力であるブール論理を考察する。 大規模言語モデルを含む任意の事前学習された言語モデルは、人間が容易に扱えるタスクであるマルチネストブール論理の面において、ランダムセレクタのように振る舞う。 この基本的な能力で言語モデルを強化するために,我々は,学習データをネストしたブール論理チェインで段階的に拡張し,より単純な論理パターンからより難しいパターンへと徐々にトレーニングをプログラムする,新しい自己教師付き学習手法 \textit{curriculum logical reasoning} (\textsc{clr})を提案する。 この新たなトレーニングパラダイムにより、言語モデルはより難しく、より長いホップ論理に効果的に一般化することができる。 さらに、ブール論理は、その後の一般的な論理タスクを改善するための優れた基盤であることを示す。

関連論文リスト

• BoolQuestions: Does Dense Retrieval Understand Boolean Logic in Language? [88.29075896295357]
  まず,現在の検索システムが,言語に暗示されるブール論理を理解できるかを検討する。 広範な実験結果から,現在の高密度検索システムはブール論理を十分に理解していないという結論を導いた。 本研究では,研究コミュニティの強力な基盤となるコントラスト的連続学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:19:53Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• Planning with Logical Graph-based Language Model for Instruction Generation [9.70880913062245]
  本稿では,論理を言語モデルに注入するグラフベースの言語モデルであるLogical-GLMを提案する。 言語モデルトレーニングのガイドとして論理スケルトンを生成し,言語モデルにドメイン知識を注入する。 我々のアプローチは、内部化されたドメイン知識により、より正確な論理で命令文を生成することができる。
  論文  参考訳（メタデータ） (2023-08-26T06:28:14Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。