論文の概要: Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2305.18507v2
• Date: Sat, 7 Oct 2023 08:07:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 11:41:54.885447
• Title: Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models
• Title（参考訳）: コードプロンプティング:大規模言語モデルにおける複雑推論のためのニューラルシンボリック手法
• Authors: Yi Hu, Haotong Yang, Zhouchen Lin, Muhan Zhang
• Abstract要約: コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。 我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
• 参考スコア（独自算出の注目度）: 74.95486528482327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have scaled up to unlock a wide range of complex reasoning tasks with the aid of various prompting methods. However, current prompting methods generate natural language intermediate steps to help reasoning, which can cause imperfect task reduction and confusion. To mitigate such limitations, we explore code prompting, a neural symbolic prompting method with both zero-shot and few-shot versions which triggers code as intermediate steps. We conduct experiments on 7 widely-used benchmarks involving symbolic reasoning and arithmetic reasoning. Code prompting generally outperforms chain-of-thought (CoT) prompting. To further understand the performance and limitations of code prompting, we perform extensive ablation studies and error analyses, and identify several exclusive advantages of using symbolic promptings compared to natural language. We also consider the ensemble of code prompting and CoT prompting to combine the strengths of both. Finally, we show through experiments how code annotations and their locations affect code prompting.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なプロンプトメソッドの助けを借りて、幅広い複雑な推論タスクをアンロックするために拡張されている。 しかし、現在のプロンプトメソッドは推論に役立つ自然言語中間ステップを生成し、不完全なタスクの削減と混乱を引き起こす可能性がある。 このような制限を軽減するため、コードプロンプトは、中間ステップとしてコードをトリガーするゼロショットバージョンとマイショットバージョンの両方を持つ、ニューラルシンボリックプロンプトメソッドである。 我々は記号的推論と算術的推論を含む7つの広く使われているベンチマーク実験を行った。 コードプロンプトは一般にチェーン・オブ・マインド(cot)プロンプトを上回っている。 コードプロンプトの性能と限界をより深く理解するために、広範囲にわたるアブレーション研究とエラー解析を行い、自然言語と比較して記号プロンプトを使うことによるいくつかの排他的利点を識別する。 また,コードプロンプトとcotの組み合わせによって,両者の強みを組み合わせることも検討する。 最後に、コードアノテーションとその場所がコードのプロンプトにどのように影響するかを実験を通して示す。

関連論文リスト

• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models [17.76252625790628]
  本稿では,言語モデルの推論過程を2段階に分解するフレームワークであるThink-and-Executeについて述べる。 7つのアルゴリズム的推論タスクについて広範な実験を行い、思考と実行の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-03T08:49:11Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• Chain of Code: Reasoning with a Language Model-Augmented Code Emulator [115.16975276693267]
  我々は、LMコード駆動推論を改善するシンプルながら驚くほど効果的な拡張であるChain of Codeを提案する。 キーとなるアイデアは、プログラム内のセマンティックなサブタスクを、インタープリタが明示的にキャッチできるフレキシブルな擬似コードとしてフォーマットすることを、LMに促すことである。
  論文  参考訳（メタデータ） (2023-12-07T17:51:43Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code [74.3873029963285]
  因果関係を特定する能力である因果推論は、人間の思考において重要である。 コードプロンプト付きコード-LLMは因果推論において著しく優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:02:58Z)
• Exploring the Curious Case of Code Prompts [22.333434626182257]
  我々は、より広範なタスクの選択において、一般的なGPTモデル(davinci、code-davinci、text-davinci)のコードとテキストプロンプトを比較した。 コードプロンプトのスタイルは,すべてのタスクに対する性能に大きな影響を与え,テキスト命令の微調整により,コードプロンプトの相対的性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-04-26T02:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。