論文の概要: The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code

• arxiv url: http://arxiv.org/abs/2305.19213v1
• Date: Tue, 30 May 2023 17:02:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 14:58:16.633516
• Title: The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code
• Title（参考訳）: IFの魔法:コードの大規模言語モデルにおける因果推論能力の調査
• Authors: Xiao Liu, Da Yin, Chen Zhang, Yansong Feng, Dongyan Zhao
• Abstract要約: 因果関係を特定する能力である因果推論は、人間の思考において重要である。 コードプロンプト付きコード-LLMは因果推論において著しく優れていることを示す。
• 参考スコア（独自算出の注目度）: 74.3873029963285
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Causal reasoning, the ability to identify cause-and-effect relationship, is crucial in human thinking. Although large language models (LLMs) succeed in many NLP tasks, it is still challenging for them to conduct complex causal reasoning like abductive reasoning and counterfactual reasoning. Given the fact that programming code may express causal relations more often and explicitly with conditional statements like ``if``, we want to explore whether Code-LLMs acquire better causal reasoning abilities. Our experiments show that compared to text-only LLMs, Code-LLMs with code prompts are significantly better in causal reasoning. We further intervene on the prompts from different aspects, and discover that the programming structure is crucial in code prompt design, while Code-LLMs are robust towards format perturbations.
• Abstract（参考訳）: 因果関係を特定する能力である因果推論は、人間の思考において重要である。 大きな言語モデル(llm)は多くのnlpタスクで成功するが、アブダクション推論や反事実推論のような複雑な因果推論を行うことは依然として困難である。 のような条件文で、より頻繁に、明示的に因果関係を表現することを考えると、コード-LLMがより良い因果関係の能力を得るかどうかを探求したい。 実験の結果,テキストのみのLLMと比較して,コードプロンプトを用いたコード-LLMの方が因果推論において有意に優れていることがわかった。 さらに異なる側面からのプロンプトに介入し、コードプロンプト設計においてプログラミング構造が不可欠であるのに対して、コード-LLMはフォーマットの摂動に対して堅牢であることを示す。

関連論文リスト

• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models [17.76252625790628]
  本稿では,言語モデルの推論過程を2段階に分解するフレームワークであるThink-and-Executeについて述べる。 7つのアルゴリズム的推論タスクについて広範な実験を行い、思考と実行の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-03T08:49:11Z)
• Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
  本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。 提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。 ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:02:14Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models [74.95486528482327]
  コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。 我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-29T15:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。