論文の概要: Design of Chain-of-Thought in Math Problem Solving
- arxiv url: http://arxiv.org/abs/2309.11054v2
- Date: Sat, 30 Sep 2023 15:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 13:02:08.930856
- Title: Design of Chain-of-Thought in Math Problem Solving
- Title（参考訳）: 数学問題解決における思考連鎖の設計
- Authors: Zhanming Jie, Trung Quoc Luong, Xinbo Zhang, Xiaoran Jin, Hang Li
- Abstract要約: CoT (Chain-of-Thought) は数学の問題解決において重要な役割を担っている。
従来の自然言語CoTと,自己記述プログラム,コメント記述プログラム,非記述プログラムなど,さまざまなプログラムCoTを比較した。
プログラムCoTsは数学問題の解法において優れた効率性を持つことが多い。
- 参考スコア（独自算出の注目度）: 8.582686316167973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-Thought (CoT) plays a crucial role in reasoning for math problem
solving. We conduct a comprehensive examination of methods for designing CoT,
comparing conventional natural language CoT with various program CoTs,
including the self-describing program, the comment-describing program, and the
non-describing program. Furthermore, we investigate the impact of programming
language on program CoTs, comparing Python and Wolfram Language. Through
extensive experiments on GSM8K, MATHQA, and SVAMP, we find that program CoTs
often have superior effectiveness in math problem solving. Notably, the best
performing combination with 30B parameters beats GPT-3.5-turbo by a significant
margin. The results show that self-describing program offers greater diversity
and thus can generally achieve higher performance. We also find that Python is
a better choice of language than Wolfram for program CoTs. The experimental
results provide a valuable guideline for future CoT designs that take into
account both programming language and coding style for further advancements.
Our datasets and code are publicly available.
- Abstract（参考訳）: CoT (Chain-of-Thought) は数学の問題解決において重要な役割を担っている。
我々はCoT設計手法の総合的な検討を行い、従来の自然言語CoTと自己記述プログラム、コメント記述プログラム、非記述プログラムを含む様々なプログラムCoTを比較した。
さらに,プログラミング言語がプログラムCoTに与える影響について検討し,PythonとWolfram言語との比較を行った。
GSM8K, MATHQA, SVAMPの広範な実験により, プログラムCoTsは数学問題の解法において優れていることが判明した。
特に、30Bパラメータと最高のパフォーマンスの組み合わせは、GPT-3.5-turboをかなり上回っている。
その結果, 自己記述プログラムはより多様性をもたらし, 一般に高い性能を達成できることがわかった。
また、pythonはプログラムcotsのwolframよりも優れた言語選択であることも分かりました。
実験結果は、さらなる進歩のためにプログラミング言語とコーディングスタイルの両方を考慮した将来のCoT設計のための貴重なガイドラインを提供する。
データセットとコードは公開されています。
関連論文リスト
- To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。
私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
論文 参考訳（メタデータ） (2024-09-18T17:55:00Z) - Learning to Reason via Program Generation, Emulation, and Search [33.11955431589091]
言語モデル(LM)によるプログラム合成は、多くの推論能力を解放した。
すべての推論タスクは、コードとして容易に表現できるわけではない。例えば、常識的推論、道徳的意思決定、皮肉な理解を含むタスクである。
我々は,プログラム合成スキルをこのようなタスクに拡張するために,コード生成とエミュレートされた実行(CoGEX)を提案する。
論文 参考訳（メタデータ） (2024-05-25T19:40:50Z) - Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。
実験の結果、Python Self-Consistencyを著しく上回ることがわかった。
特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
論文 参考訳（メタデータ） (2024-02-16T13:48:06Z) - Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning [84.12154024070024]
本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。
我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。
Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
論文 参考訳（メタデータ） (2023-09-19T17:54:21Z) - Understanding Programs by Exploiting (Fuzzing) Test Cases [26.8259045248779]
プログラムのより深い意味理解を実現するために,入力と出力/振る舞いの関係を学習に取り入れることを提案する。
コードの大部分の実行をトリガーするのに十分な入力を得るために,ファズテストを採用し,ファズチューニングを提案する。
提案手法の有効性は,コードクローン検出とコード分類を含む2つのプログラム理解タスクにおいて検証され,最先端技術よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2023-05-23T01:51:46Z) - Program of Thoughts Prompting: Disentangling Computation from Reasoning
for Numerical Reasoning Tasks [108.4568236569645]
CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。
本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。
PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
論文 参考訳（メタデータ） (2022-11-22T21:06:00Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-07T11:25:21Z) - Natural Language to Code Translation with Execution [82.52142893010563]
実行結果-プログラム選択のための最小ベイズリスク復号化。
そこで本研究では,自然言語からコードへのタスクにおいて,事前訓練されたコードモデルの性能を向上することを示す。
論文 参考訳（メタデータ） (2022-04-25T06:06:08Z) - Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。
我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。
私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
論文 参考訳（メタデータ） (2020-07-23T16:07:39Z) - Quantifying the Impact on Software Complexity of Composable Inductive
Programming using Zoea [0.0]
Zoeaプログラミング言語で実装された構成可能なインダクティブプログラミングは、ソフトウェア開発に対する単純な宣言的アプローチである。
本稿では,Zoeaや従来のプログラミング言語で実装された等価コードのソフトウェア複雑性を定量的に比較した結果について述べる。
論文 参考訳（メタデータ） (2020-05-17T10:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。