論文の概要: LogiGAN: Learning Logical Reasoning via Adversarial Pre-training
- arxiv url: http://arxiv.org/abs/2205.08794v1
- Date: Wed, 18 May 2022 08:46:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-19 12:41:25.158318
- Title: LogiGAN: Learning Logical Reasoning via Adversarial Pre-training
- Title（参考訳）: LogiGAN: 逆学習による論理推論学習
- Authors: Xinyu Pi, Wanjun Zhong, Yan Gao, Nan Duan, Jian-Guang Lou
- Abstract要約: 本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。
人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。
LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
- 参考スコア（独自算出の注目度）: 58.11043285534766
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present LogiGAN, an unsupervised adversarial pre-training framework for
improving logical reasoning abilities of language models. Upon automatic
identifying logical reasoning phenomena in massive text corpus via detection
heuristics, we train language models to predict the masked-out logical
statements. Inspired by the facilitation effect of reflective thinking in human
learning, we analogically simulate the learning-thinking process with an
adversarial Generator-Verifier architecture to assist logic learning. LogiGAN
implements a novel sequential GAN approach that (a) circumvents the
non-differentiable challenge of the sequential GAN by leveraging the Generator
as a sentence-level generative likelihood scorer with a learning objective of
reaching scoring consensus with the Verifier; (b) is computationally feasible
for large-scale pre-training with arbitrary target length. Both base and large
size language models pre-trained with LogiGAN demonstrate obvious performance
improvement on 12 datasets requiring general reasoning abilities, revealing the
fundamental role of logic in broad reasoning, as well as the effectiveness of
LogiGAN. Ablation studies on LogiGAN components reveal the relative
orthogonality between linguistic and logic abilities and suggest that
reflective thinking's facilitation effect might also generalize to machine
learning.
- Abstract（参考訳）: 本稿では,言語モデルの論理的推論能力を向上させるための教師なし前学習フレームワークlogiganを提案する。
検出ヒューリスティックスによる大規模テキストコーパスにおける論理推論現象の自動同定により,マスキングアウト論理文の予測のために言語モデルを訓練する。
人間の学習におけるリフレクティブ思考の促進効果にインスパイアされ、逆生成検証アーキテクチャを用いて学習思考プロセスを類似的にシミュレートし、論理学習を支援する。
LogiGANが新しいGANアプローチを実装
(a)ジェネレータを文レベル生成率スコアラとして活用し、検証者とのスコアコンセンサスを達成する学習目標を達成することにより、シーケンシャルGANの非差別的課題を回避する。
b) 任意の目標長を持つ大規模事前訓練に対して計算可能である。
LogiGANで事前トレーニングされたベースおよび大規模言語モデルは、一般的な推論能力を必要とする12のデータセットに対して明らかなパフォーマンス改善を示し、広い推論における論理の基本的役割とLogiGANの有効性を明らかにしている。
LogiGANコンポーネントのアブレーション研究は、言語能力と論理能力の相対直交性を明らかにし、リフレクティブ思考のファシリテーション効果が機械学習にも一般化されることを示唆している。
関連論文リスト
- Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。
LLMの論理的推論能力の向上を目的とした新しいフレームワークであるReversal of Thought (RoT)を提案する。
RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
論文 参考訳（メタデータ） (2024-10-16T07:44:28Z) - Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。
本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。
主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
論文 参考訳（メタデータ） (2024-09-25T18:35:45Z) - Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。
2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
論文 参考訳（メタデータ） (2024-09-19T03:39:09Z) - Logic Agent: Enhancing Validity with Logic Rule Invocation [24.815341366820753]
Chain-of-Thoughtプロンプトは、推論タスク中に言語モデルの推論能力を増強するための重要なテクニックとして現れている。
本稿では,大規模言語モデルにおける推論プロセスの有効性向上を目的としたエージェントベースのフレームワークであるLogic Agent(LA)を紹介する。
論文 参考訳（メタデータ） (2024-04-28T10:02:28Z) - Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。
この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文 参考訳（メタデータ） (2023-10-09T06:54:02Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。
具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。
PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
論文 参考訳（メタデータ） (2023-05-28T04:22:26Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳（メタデータ） (2023-05-23T06:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。