論文の概要: AR-LSAT: Investigating Analytical Reasoning of Text

• arxiv url: http://arxiv.org/abs/2104.06598v1
• Date: Wed, 14 Apr 2021 02:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:24:01.596154
• Title: AR-LSAT: Investigating Analytical Reasoning of Text
• Title（参考訳）: AR-LSAT:テキストの分析的推論の検討
• Authors: Wanjun Zhong, Siyuan Wang, Duyu Tang, Zenan Xu, Daya Guo, Jiahai Wang, Jian Yin, Ming Zhou, Nan Duan
• Abstract要約: テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
• 参考スコア（独自算出の注目度）: 57.1542673852013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analytical reasoning is an essential and challenging task that requires a system to analyze a scenario involving a set of particular circumstances and perform reasoning over it to make conclusions. In this paper, we study the challenge of analytical reasoning of text and introduce a new dataset consisting of questions from the Law School Admission Test from 1991 to 2016. We analyze what knowledge understanding and reasoning abilities are required to do well on this task. Furthermore, to address this reasoning challenge, we design two different baselines: (1) a Transformer-based method which leverages the state-of-the-art pre-trained language models and (2) Analytical Reasoning Machine (ARM), a logical-level reasoning framework extracting symbolic knowledge (e.g, participants, facts, logical functions) to deduce legitimate solutions. In our experiments, we find that the Transformer-based models struggle to solve this task as their performance is close to random guess and ARM achieves better performance by leveraging symbolic knowledge and interpretable reasoning steps. Results show that both methods still lag far behind human performance, which leave further space for future research.
• Abstract（参考訳）: 分析的推論は、システムが特定の状況を含むシナリオを分析し、結論を出すための推論を行う必要がある、不可欠で困難なタスクである。 本稿では,1991年から2016年までの法学校入学試験において,テキストの分析的推論の課題について検討し,新しいデータセットを導入する。 我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。 さらに,この推論課題に対処するために,(1)最先端の事前学習言語モデルを活用したトランスフォーマー方式と(2)記号的知識(例えば,参加者,事実,論理関数)を抽出して正当な解を推論する論理レベル推論フレームワークである解析推論機(arm)の設計を行った。 実験の結果,Transformerをベースとしたモデルでは,その性能がランダムな推測に近づき,ARMは記号的知識と解釈可能な推論ステップを活用して,より良い性能を達成するため,この課題を解決するのに苦労していることがわかった。 結果は、どちらの手法も人間のパフォーマンスよりはるかに遅れており、今後の研究に余地を残していることを示している。

関連論文リスト

• H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
  本稿では,2段階のプロセスにシンボル的アプローチと意味的アプローチ(テキスト的アプローチ)を統合し,制約に対処する新しいアルゴリズムを提案する。 実験の結果,H-STARは3つの質問応答(QA)と事実検証データセットにおいて,最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-29T21:24:19Z)
• Generation of Explanations for Logic Reasoning [0.0]
  この研究は、GPT-3.5-turboを用いて、フォーティオリの議論の分析を自動化することに集中している。 この論文は人工知能と論理的推論の分野に多大な貢献をしている。
  論文  参考訳（メタデータ） (2023-11-22T15:22:04Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
  テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。 2つの新しい戦略が我々の手法の必須要素である。
  論文  参考訳（メタデータ） (2022-03-01T11:13:00Z)
• From LSAT: The Progress and Challenges of Complex Reasoning [56.07448735248901]
  本稿では,LSAT(Law School Admission Test)の3つの課題について,解析的推論,論理的推論,読解の3つの課題について検討する。 本稿では,これら3つのタスクを統合するハイブリッド推論システムを提案する。
  論文  参考訳（メタデータ） (2021-08-02T05:43:03Z)
• Social Commonsense Reasoning with Multi-Head Knowledge Attention [24.70946979449572]
  社会的コモンセンス推論には、テキストの理解、社会イベントに関する知識、その実践的な意味、およびコモンセンス推論スキルが必要である。 本稿では,半構造化コモンセンス推論規則を符号化し,それをトランスフォーマーベースの推論セルに組み込むことを学習する,新しいマルチヘッド知識アテンションモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:24:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。