論文の概要: Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large
Language Models
- arxiv url: http://arxiv.org/abs/2305.18507v2
- Date: Sat, 7 Oct 2023 08:07:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 11:41:54.885447
- Title: Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large
Language Models
- Title(参考訳): コードプロンプティング:大規模言語モデルにおける複雑推論のためのニューラルシンボリック手法
- Authors: Yi Hu, Haotong Yang, Zhouchen Lin, Muhan Zhang
- Abstract要約: コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。
我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
- 参考スコア(独自算出の注目度): 74.95486528482327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have scaled up to unlock a wide range of complex
reasoning tasks with the aid of various prompting methods. However, current
prompting methods generate natural language intermediate steps to help
reasoning, which can cause imperfect task reduction and confusion. To mitigate
such limitations, we explore code prompting, a neural symbolic prompting method
with both zero-shot and few-shot versions which triggers code as intermediate
steps. We conduct experiments on 7 widely-used benchmarks involving symbolic
reasoning and arithmetic reasoning. Code prompting generally outperforms
chain-of-thought (CoT) prompting. To further understand the performance and
limitations of code prompting, we perform extensive ablation studies and error
analyses, and identify several exclusive advantages of using symbolic
promptings compared to natural language. We also consider the ensemble of code
prompting and CoT prompting to combine the strengths of both. Finally, we show
through experiments how code annotations and their locations affect code
prompting.
- Abstract(参考訳): 大規模言語モデル(LLM)は、様々なプロンプトメソッドの助けを借りて、幅広い複雑な推論タスクをアンロックするために拡張されている。
しかし、現在のプロンプトメソッドは推論に役立つ自然言語中間ステップを生成し、不完全なタスクの削減と混乱を引き起こす可能性がある。
このような制限を軽減するため、コードプロンプトは、中間ステップとしてコードをトリガーするゼロショットバージョンとマイショットバージョンの両方を持つ、ニューラルシンボリックプロンプトメソッドである。
我々は記号的推論と算術的推論を含む7つの広く使われているベンチマーク実験を行った。
コードプロンプトは一般にチェーン・オブ・マインド(cot)プロンプトを上回っている。
コードプロンプトの性能と限界をより深く理解するために、広範囲にわたるアブレーション研究とエラー解析を行い、自然言語と比較して記号プロンプトを使うことによるいくつかの排他的利点を識別する。
また,コードプロンプトとcotの組み合わせによって,両者の強みを組み合わせることも検討する。
最後に、コードアノテーションとその場所がコードのプロンプトにどのように影響するかを実験を通して示す。
関連論文リスト
- Chain-of-Thought Reasoning Without Prompting [48.351650919819456]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練されたLCMから引き出すことができる。
我々は、デコードパスにおけるCoTの存在は、モデルのデコードされた回答に対する高い信頼と相関していることを観察する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [69.99031792995348]
自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。
コードプロンプトは複数のLLMに対して高速に向上することがわかった。
GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
論文 参考訳(メタデータ) (2024-01-18T15:32:24Z) - Chain of Code: Reasoning with a Language Model-Augmented Code Emulator [119.0018170558366]
言語モデル(LM)はコード記述を活用して思考の連鎖推論を改善する。
我々は、LMコード駆動推論を改善するシンプルな、そして驚くほど効果的な拡張であるChain of Code (CoC)を提案する。
CoCは、大小のモデルと同様の規模でスケールし、LMが「コードを考える」ことで正しく答えられるような推論の問題の範囲を広げる。
論文 参考訳(メタデータ) (2023-12-07T17:51:43Z) - Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。
そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文 参考訳(メタデータ) (2023-10-03T00:57:26Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - The Magic of IF: Investigating Causal Reasoning Abilities in Large
Language Models of Code [74.3873029963285]
因果関係を特定する能力である因果推論は、人間の思考において重要である。
コードプロンプト付きコード-LLMは因果推論において著しく優れていることを示す。
論文 参考訳(メタデータ) (2023-05-30T17:02:58Z) - Exploring the Curious Case of Code Prompts [22.333434626182257]
我々は、より広範なタスクの選択において、一般的なGPTモデル(davinci、code-davinci、text-davinci)のコードとテキストプロンプトを比較した。
コードプロンプトのスタイルは,すべてのタスクに対する性能に大きな影響を与え,テキスト命令の微調整により,コードプロンプトの相対的性能が向上することを示す。
論文 参考訳(メタデータ) (2023-04-26T02:37:52Z) - A Syntax-Guided Multi-Task Learning Approach for Turducken-Style Code
Generation [19.489202790935902]
本稿では,構文誘導型マルチタスク学習手法TurduckenGenを提案する。
具体的には、まず最初に型情報をコードトークンに明示的に付加し、構文制約の表現をキャプチャします。
次に,構文制約表現を用いたコード生成を補助タスクとして形式化し,モデルの構文制約学習を可能にする。
論文 参考訳(メタデータ) (2023-03-09T06:22:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。