論文の概要: From LSAT: The Progress and Challenges of Complex Reasoning

• arxiv url: http://arxiv.org/abs/2108.00648v1
• Date: Mon, 2 Aug 2021 05:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-04 00:53:35.905837
• Title: From LSAT: The Progress and Challenges of Complex Reasoning
• Title（参考訳）: LSATから - 複雑推論の進歩と課題-
• Authors: Siyuan Wang, Zhongkun Liu, Wanjun Zhong, Ming Zhou, Zhongyu Wei, Zhumin Chen and Nan Duan
• Abstract要約: 本稿では,LSAT(Law School Admission Test)の3つの課題について,解析的推論,論理的推論,読解の3つの課題について検討する。 本稿では,これら3つのタスクを統合するハイブリッド推論システムを提案する。
• 参考スコア（独自算出の注目度）: 56.07448735248901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex reasoning aims to draw a correct inference based on complex rules. As a hallmark of human intelligence, it involves a degree of explicit reading comprehension, interpretation of logical knowledge and complex rule application. In this paper, we take a step forward in complex reasoning by systematically studying the three challenging and domain-general tasks of the Law School Admission Test (LSAT), including analytical reasoning, logical reasoning and reading comprehension. We propose a hybrid reasoning system to integrate these three tasks and achieve impressive overall performance on the LSAT tests. The experimental results demonstrate that our system endows itself a certain complex reasoning ability, especially the fundamental reading comprehension and challenging logical reasoning capacities. Further analysis also shows the effectiveness of combining the pre-trained models with the task-specific reasoning module, and integrating symbolic knowledge into discrete interpretable reasoning steps in complex reasoning. We further shed a light on the potential future directions, like unsupervised symbolic knowledge extraction, model interpretability, few-shot learning and comprehensive benchmark for complex reasoning.
• Abstract（参考訳）: 複雑な推論は、複雑なルールに基づいて正しい推論を描くことを目的としている。 人間の知性の目印として、明示的な読解、論理的知識の解釈、複雑な規則の適用などが含まれる。 本稿では,LSAT(Law School Admission Test)の3つの課題を,解析的推論,論理的推論,読解的理解を含む体系的に研究することで,複雑な推論に一歩前進する。 本稿では,これら3つのタスクを統合し,lsatテストにおいて印象的な総合的性能を実現するためのハイブリッド推論システムを提案する。 実験の結果,本システムには複雑な推論能力,特に基本的な読解能力と論理的推論能力が備わっていることがわかった。 さらに、事前学習されたモデルとタスク固有の推論モジュールを組み合わせることで、複雑な推論においてシンボル知識を個別の解釈可能な推論ステップに統合する効果も示した。 我々はさらに,教師なしの記号的知識抽出,モデル解釈可能性,少数ショット学習,複雑な推論のための包括的ベンチマークなど,将来的な方向性について考察した。

関連論文リスト

• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Can Large Language Models Reason? A Characterization via 3-SAT [11.422434149376478]
  大規模言語モデル(LLM)は高度な推論能力を持つAIモデルとして評価されている。 近年の研究では、LLMは、しばしばショートカットを使用した真の推論を回避し、懐疑論を引き起こすことが示されている。 本稿では,論理的推論と制約満足度タスクの中核に位置するNP完全問題である 3-SAT を中心にした実験プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-08-13T21:54:10Z)
• CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge [44.59258397967782]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる印象的な機能を示している。 本稿では,LLMの複雑な論理的推論能力の体系的評価について述べる。 LLMは一般世界の知識の推論に優れるが、専門分野固有の知識では重大な課題に直面している。
  論文  参考訳（メタデータ） (2024-07-30T05:40:32Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
  テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
  論文  参考訳（メタデータ） (2021-04-14T02:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。