論文の概要: APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning

• arxiv url: http://arxiv.org/abs/2212.09282v2
• Date: Mon, 5 Jun 2023 00:56:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:45:52.843365
• Title: APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning
• Title（参考訳）: APOLLO:論理推論のための言語モデルの適応事前学習のための簡単なアプローチ
• Authors: Soumya Sanyal, Yichong Xu, Shuohang Wang, Ziyi Yang, Reid Pryzant, Wenhao Yu, Chenguang Zhu, Xiang Ren
• Abstract要約: 本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 73.3035118224719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logical reasoning of text is an important ability that requires understanding the information present in the text, their interconnections, and then reasoning through them to infer new conclusions. Prior works on improving the logical reasoning ability of language models require complex processing of training data (e.g., aligning symbolic knowledge to text), yielding task-specific data augmentation solutions that restrict the learning of general logical reasoning skills. In this work, we propose APOLLO, an adaptively pretrained language model that has improved logical reasoning abilities. We select a subset of Wikipedia, based on a set of logical inference keywords, for continued pretraining of a language model. We use two self-supervised loss functions: a modified masked language modeling loss where only specific parts-of-speech words, that would likely require more reasoning than basic language understanding, are masked, and a sentence-level classification loss that teaches the model to distinguish between entailment and contradiction types of sentences. The proposed training paradigm is both simple and independent of task formats. We demonstrate the effectiveness of APOLLO by comparing it with prior baselines on two logical reasoning datasets. APOLLO performs comparably on ReClor and outperforms baselines on LogiQA. The code base has been made publicly available.
• Abstract（参考訳）: テキストの論理的推論は、テキストに含まれる情報とその相互関係を理解し、それらを推論して新たな結論を推測する必要がある重要な能力である。 言語モデルの論理的推論能力を改善するには、トレーニングデータの複雑な処理(例えば、記号的知識をテキストに合わせる)が必要であり、一般的な論理推論スキルの学習を制限するタスク固有のデータ拡張ソリューションを提供する。 本研究では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 言語モデルの事前学習を継続するために、論理推論キーワードのセットに基づいてwikipediaのサブセットを選択する。 2つの自己教師付き損失関数を用いており、基本的言語理解よりも推論を必要とする可能性のある特定の部分のみを修飾したマスク付き言語モデリング損失と、関連する文と矛盾する文の区別をモデルに教える文レベル分類損失である。 提案するトレーニングパラダイムは単純かつタスク形式に依存しない。 本稿では,2つの論理的推論データセットのベースラインと比較し,APOLLOの有効性を示す。 APOLLOはReClorで互換性があり、LogiQAでベースラインを上回っている。 コードベースは公開されています。

関連論文リスト

• Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension [9.67774998354062]
  これまでの研究は主に、Chain-of-Thought(CoT)やデータ拡張による論理的推論能力の向上に重点を置いてきた。 本稿では,CoTの論理式を生成するためのPODA(Premise-Oriented Data Augmentation)フレームワークを提案する。 また,本論文では,原案と反実例の推論経路を比較検討する新たな思考経路コントラスト学習手法についても紹介する。
  論文  参考訳（メタデータ） (2024-09-22T15:44:43Z)
• How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
  特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。 実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
  大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
  論文  参考訳（メタデータ） (2023-10-09T06:54:02Z)
• Planning with Logical Graph-based Language Model for Instruction Generation [9.70880913062245]
  本稿では,論理を言語モデルに注入するグラフベースの言語モデルであるLogical-GLMを提案する。 言語モデルトレーニングのガイドとして論理スケルトンを生成し,言語モデルにドメイン知識を注入する。 我々のアプローチは、内部化されたドメイン知識により、より正確な論理で命令文を生成することができる。
  論文  参考訳（メタデータ） (2023-08-26T06:28:14Z)
• Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss [0.0]
  理解と論理的推論タスクを読む機械学習モデルの開発における現在のトレンドは、論理的ルールを理解し、活用するモデルの能力を改善することに焦点を当てている。 この研究は、新しい損失関数と、他のモデルよりも解釈可能なコンポーネントを持つモデルアーキテクチャを提供することに焦点を当てている。 我々の戦略は、絶対的精度よりも相対的精度を強調し、理論的には不完全な知識で正しい答えを生成できる。
  論文  参考訳（メタデータ） (2023-04-03T14:48:34Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text [65.24325614642223]
  論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。 このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。 本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
  論文  参考訳（メタデータ） (2021-05-08T10:09:36Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。