論文の概要: Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities

• arxiv url: http://arxiv.org/abs/2406.02787v1
• Date: Tue, 4 Jun 2024 21:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 22:37:23.713878
• Title: Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities
• Title（参考訳）: 分散論理:大言語モデル推論能力におけるコンテキストの役割
• Authors: Wenyue Hua, Kaijie Zhu, Lingyao Li, Lizhou Fan, Shuhang Lin, Mingyu Jin, Haochen Xue, Zelong Li, JinDong Wang, Yongfeng Zhang,
• Abstract要約: 包括的なドメイン集合からの抽象的および文脈的論理的問題に対するコントラストについて検討する。 我々は、標準的な命題論理、特に命題推論と帰納論理推論に焦点を当てる。 本実験は,LLMの論理的推論と真の推論能力に関する知見を提供することを目的としている。
• 参考スコア（独自算出の注目度）: 31.728976421529577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study intends to systematically disentangle pure logic reasoning and text understanding by investigating the contrast across abstract and contextualized logical problems from a comprehensive set of domains. We explore whether LLMs demonstrate genuine reasoning capabilities across various domains when the underlying logical structure remains constant. We focus on two main questions (1) Can abstract logical problems alone accurately benchmark an LLM's reasoning ability in real-world scenarios, disentangled from contextual support in practical settings? (2) Does fine-tuning LLMs on abstract logic problem generalize to contextualized logic problems and vice versa? To investigate these questions, we focus on standard propositional logic, specifically propositional deductive and abductive logic reasoning. In particular, we construct instantiated datasets for deductive and abductive reasoning with 4 levels of difficulty, encompassing 12 distinct categories or domains based on the categorization of Wikipedia. Our experiments aim to provide insights into disentangling context in logical reasoning and the true reasoning capabilities of LLMs and their generalization potential. The code and dataset are available at: https://github.com/agiresearch/ContextHub.
• Abstract（参考訳）: 本研究は,抽象的・文脈的論理的問題と包括的ドメイン集合との対比を調査することにより,純粋論理的推論とテキスト理解を体系的に解き放つことを目的とする。 基礎となる論理構造が一定である場合, LLM が様々な領域にまたがる真の推論能力を示すかどうかを考察する。 実世界のシナリオにおいて、LLMの推論能力を正確にベンチマークできるのは論理的問題だけで、実践的な環境での文脈的サポートとは無関係か? 2) 抽象論理問題に対する微調整 LLM は文脈論理問題に一般化するか,その逆か? これらの疑問を解明するために、我々は標準的な命題論理、特に命題帰納論理と帰納論理の推論に焦点を当てる。 具体的には,ウィキペディアの分類に基づいて,12のカテゴリやドメインを含む4レベルの難易度を有する帰納的推論と帰納的推論のためのインスタンス化されたデータセットを構築した。 本実験は,LLMの論理的推論と真の推論能力とその一般化可能性に関する知見を提供することを目的としている。 コードとデータセットは、https://github.com/agiresearch/ContextHub.orgで公開されている。

関連論文リスト

• Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach [11.400815134634016]
  本稿では,忠実な論理的推論のためのニューロシンボリックアプローチであるLINAを紹介する。 LLMが命題論理抽出から洗練された論理推論への移行を自律的に行えるようにすることで、LINAは推論プロセスのレジリエンスを高める。 実証的な評価は、LINAが確立された命題論理フレームワークと従来のプロンプト技術の両方を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-29T06:38:46Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Do Large Language Models Understand Logic or Just Mimick Context? [14.081178100662163]
  本稿では,2つの論理的推論データセット上での大規模言語モデル(LLM)の推論能力について検討する。 LLMは論理規則を真に理解していないことが判明した。むしろ、文脈内学習は、これらのモデルが正しい解に到達する可能性を高めている。
  論文  参考訳（メタデータ） (2024-02-19T12:12:35Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic [14.503982715625902]
  本研究では,言語モデル(LM)に対する合成コーパスに基づくアプローチについて検討し,論理的帰納的推論能力を得る。 形式論理理論に基づく推論規則は,多段階的に組み合わせることで,他の推論規則を導出することができる。 我々は、FLDコーパスで訓練されたLMがより一般化可能な推論能力を取得することを実証的に検証した。
  論文  参考訳（メタデータ） (2023-08-11T13:15:35Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Discourse-Aware Graph Networks for Textual Logical Reasoning [142.0097357999134]
  パッセージレベルの論理関係は命題単位間の係り合いまたは矛盾を表す(例、結論文) 論理的推論QAを解くための論理構造制約モデリングを提案し、談話対応グラフネットワーク(DAGN)を導入する。 ネットワークはまず、インラインの談話接続とジェネリック論理理論を利用した論理グラフを構築し、その後、エッジ推論機構を用いて論理関係を進化させ、グラフ機能を更新することで論理表現を学習する。
  論文  参考訳（メタデータ） (2022-07-04T14:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。