論文の概要: Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement

• arxiv url: http://arxiv.org/abs/2305.14497v1
• Date: Tue, 23 May 2023 19:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 23:48:35.761062
• Title: Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement
• Title（参考訳）: 自己汚染:問題修正による大規模言語モデルの推論
• Authors: Zhiheng Xi, Senjie Jin, Yuhao Zhou, Rui Zheng, Songyang Gao, Tao Gui, Qi Zhang, Xuanjing Huang
• Abstract要約: 本稿では,モデルの問題解決プロセスを容易にする新しい手法であるSelf-Polish(SP)を提案する。 SPは、無関係な情報を排除し、論理構造を再構成し、局所条件を新しいものに並列に整理するようにモデルに教える。 提案手法の有効性を明らかにするため,5つのベンチマークで徹底的な実験を行った。
• 参考スコア（独自算出の注目度）: 53.68527732113678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting methods such as Chain-of-Thought (CoT) have shed new light on enhancing the reasoning capabilities of large language models, and researchers have extensively explored the generation process of rationales and answers. However, they have overlooked the potential challenges posed by the poor quality of reasoning problems, which may influence the reasoning performance significantly. In this work, we propose Self-Polish (SP), a novel method that facilitates the model's problem-solving process by prompting them to progressively refine the given problems to be more comprehensible and solvable. Specifically, the method teaches models to eliminate irrelevant information, rearrange the logic structure and organize local conditions into new ones parallelly. SP is orthogonal to all other prompting methods, making it convenient to integrate with state-of-the-art techniques for further improvement. We conduct thorough experiments on five benchmarks to illustrate the effectiveness of the proposed method. For example, with Text-davinci-003, our method boosts the performance of standard few-shot prompting by $8.0\%$ on GSM8K and $17.8\%$ on MultiArith; it also improves the performance of CoT by $6.0\%$ on GSM8K and $6.0\%$ on MathQA, respectively. Furthermore, our method also showcases impressive performance on robustness evaluation.
• Abstract（参考訳）: CoT(Chain-of-Thought)のようなプロンプティング手法は、大規模言語モデルの推論能力の向上に新たな光を当て、研究者は理論と答えの生成過程を幅広く研究してきた。 しかし、彼らは推論性能に大きな影響を及ぼす可能性のある推論問題の質の低下によって生じる潜在的な課題を見落としている。 本研究では,与えられた問題を段階的に洗練させ,より理解しやすく解くことを促すことによって,モデルの問題解決プロセスを容易にする新しい手法であるセルフポリッシュ(sp)を提案する。 具体的には、無関係な情報を排除し、論理構造を再構成し、局所条件を並列に新しいものに整理する。 spは他のすべてのプロンプトメソッドと直交しており、さらなる改善のために最先端の技術を統合するのが便利である。 提案手法の有効性を明らかにするため,5つのベンチマークで徹底的な実験を行った。 例えば、Text-davinci-003では、GSM8Kで8.0\%、MultiArithで17.8\%、GSM8Kで6.0\%、MathQAで6.0\%、それぞれCoTで6.0\%となっている。 また,本手法はロバスト性評価における印象的な性能を示す。

関連論文リスト

• CoCoA: A Generalized Approach to Uncertainty Quantification by Integrating Confidence and Consistency of LLM Outputs [35.74755307680801]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を新たに合成する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
  マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。 既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。 MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
  論文  参考訳（メタデータ） (2023-11-23T17:09:48Z)
• Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts [1.8175282137722093]
  CoT(Chain-of-Thought)メソッドは、LLM(Large Language Models)によって複雑なタスクをステップバイステップで解決する。 事前学習データの分布の不均衡のため、多段階推論を実現する能力は英語に限られている。 言語間の相互言語CoT推論を整合させる手法としてクロス言語木(Cross-ToT)を提案する。
  論文  参考訳（メタデータ） (2023-11-14T11:49:43Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。