論文の概要: The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models
- arxiv url: http://arxiv.org/abs/2401.05618v2
- Date: Mon, 9 Sep 2024 23:54:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 23:35:05.716378
- Title: The Benefits of a Concise Chain of Thought on Problem-Solving in Large Language Models
- Title(参考訳): 大規模言語モデルにおける問題解決に関する簡潔なチェーンの効果
- Authors: Matthew Renze, Erhan Guven,
- Abstract要約: CCoTはGPT-3.5とGPT-4の両方で平均応答長を48.70%削減した。
数学の問題では、GPT-3.5とCCoTは27.69%のペナルティを課している。
全体として、CCoTはトーケン当たりの平均コストを22.67%削減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce Concise Chain-of-Thought (CCoT) prompting. We compared standard CoT and CCoT prompts to see how conciseness impacts response length and correct-answer accuracy. We evaluated this using GPT-3.5 and GPT-4 with a multiple-choice question-and-answer (MCQA) benchmark. CCoT reduced average response length by 48.70% for both GPT-3.5 and GPT-4 while having a negligible impact on problem-solving performance. However, on math problems, GPT-3.5 with CCoT incurs a performance penalty of 27.69%. Overall, CCoT leads to an average per-token cost reduction of 22.67%.
- Abstract(参考訳): 本稿では,CCoT(Concise Chain-of-Thought)プロンプトについて紹介する。
我々は、標準のCoTとCCoTのプロンプトを比較して、応答長と正解精度に精度がどう影響するかを調べた。
GPT-3.5とGPT-4をMCQA(Multi-choice Question-and-Awer)ベンチマークで評価した。
CCoTはGPT-3.5とGPT-4の両方で平均応答長を48.70%削減した。
しかし数学の問題では、GPT-3.5とCCoTは27.69%のペナルティを課している。
全体として、CCoTはトーケン当たりの平均コストを22.67%削減する。
関連論文リスト
- Benchmarking LLMs for Optimization Modeling and Enhancing Reasoning via Reverse Socratic Synthesis [60.23133327001978]
大規模言語モデル(LLM)は、数学的推論においてその問題解決能力を示した。
本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるE-OPTを提案する。
論文 参考訳(メタデータ) (2024-07-13T13:27:57Z) - Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [86.03285157412839]
CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。
CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。
意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
論文 参考訳(メタデータ) (2024-04-23T12:16:05Z) - Constrained C-Test Generation via Mixed-Integer Programming [55.28927994487036]
本研究は,単語の最後の部分のみをギャップに変換する,クローズテスト(ギャップ充足運動)の形式であるC-テストを生成する新しい手法を提案する。
局所最適解を実現するために, ギャップサイズやギャップ配置の変化のみを考慮する従来の研究とは対照的に, 混合整数プログラミング(MIP)アプローチを提案する。
当社のコード、モデル、収集したデータは32の英語のC-Testで、それぞれ20のギャップ(3,200の個別のギャップ応答)をオープンソースライセンスで公開しています。
論文 参考訳(メタデータ) (2024-04-12T21:35:21Z) - ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する
既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。
優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文 参考訳(メタデータ) (2024-03-21T11:34:26Z) - Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning [21.951313919964484]
大規模言語モデルは高レベルのコモンセンス推論能力を示す。
CoTライクな手法は、もともとは正しい答えが間違っていた、というかなりの数に繋がる。
帰属的追跡法と因果的追跡法を用いて,モデルの内部動作機構を探索する。
論文 参考訳(メタデータ) (2024-02-28T14:09:02Z) - In-Context Principle Learning from Mistakes [75.66979331850364]
Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。
我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
論文 参考訳(メタデータ) (2024-02-08T04:42:29Z) - Applying Large Language Models and Chain-of-Thought for Automatic
Scoring [23.076596289069506]
本研究では,大規模言語モデル(LLM)の学生による科学評価に対する応答の自動評価への適用について検討した。
我々は、これまで人工知能ベースの自動スコアリングツールの使用を制限していたアクセシビリティ、技術的複雑さ、説明可能性の欠如といった課題を克服することに注力した。
論文 参考訳(メタデータ) (2023-11-30T21:22:43Z) - Stress Testing Chain-of-Thought Prompting for Large Language Models [0.16317061277456998]
本報告では,大規模言語モデル(LLM)の多段階推論能力を向上する上で,CoT(Chain-of-Thought)の有効性について検討する。
各種タスクにおけるGPT-3の性能に及ぼすCoT次数,CoT値,CoT演算子の影響を解析した。
論文 参考訳(メタデータ) (2023-09-28T17:21:33Z) - Hint of Thought prompting: an explainable and zero-shot approach to reasoning tasks with LLMs [5.996787847938559]
本稿では、説明可能性とゼロショットの一般化を促進させる新しい思考ヒント(HoT)を提案する。
我々のHoTプロンプトは、既存のゼロショットCoTと比較してゼロショット推論タスクに大きな利点がある。
論文 参考訳(メタデータ) (2023-05-19T06:30:17Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳(メタデータ) (2023-01-31T03:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。