論文の概要: Generating Chain-of-Thoughts with a Pairwise-Comparison Approach to Searching for the Most Promising Intermediate Thought

• arxiv url: http://arxiv.org/abs/2402.06918v2
• Date: Wed, 26 Jun 2024 05:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 19:04:48.435558
• Title: Generating Chain-of-Thoughts with a Pairwise-Comparison Approach to Searching for the Most Promising Intermediate Thought
• Title（参考訳）: Pairwise-Comparison Approach to Searching for the Most Promising Intermediate Thought (特集:「思考の連鎖」)
• Authors: Zhen-Yu Zhang, Siwei Han, Huaxiu Yao, Gang Niu, Masashi Sugiyama,
• Abstract要約: CoT法(Chain-of- Thoughts)は、大規模言語モデルにステップバイステップの推論を誘導し、単純から複雑への問題解決を可能にする手法である。 大規模言語モデル (LLMs) による評価は、一般的にうるさく、信頼できないものであり、将来有望な中間的思考を選択する際の生成過程を誤解させる可能性がある。 本稿では,Vapnikの原理を動機として,ポイントワイドスコアではなくペアワイズ比較評価を用いて,有望な中間思考を探索する。
• 参考スコア（独自算出の注目度）: 70.30423016640749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve the ability of the large language model (LLMs) to tackle complex reasoning problems, chain-of-thoughts (CoT) methods were proposed to guide LLMs to reason step-by-step, enabling problem solving from simple to complex. State-of-the-art methods for generating such a chain involve interactive collaboration, where the learner generates candidate intermediate thoughts, evaluated by the LLM, guiding the generation of subsequent thoughts. However, a widespread yet understudied problem is that the evaluation from the LLM is typically noisy and unreliable, potentially misleading the generation process in selecting promising intermediate thoughts. In this paper, motivated by Vapnik's principle, we use pairwise-comparison evaluation instead of point-wise scoring to search for promising intermediate thoughts with the noisy feedback from the LLM. In each round, we randomly pair intermediate thoughts and directly prompt the LLM to select the more promising one from each pair, allowing us to identify the most promising thoughts through an iterative process. To further alleviate the noise in the comparison, we incorporate techniques from ensemble learning and dueling bandits, proposing two variants of the algorithm. Experiments on three real-world tasks demonstrate the effectiveness of our proposed algorithm and verify the rationale of the pairwise comparison mechanism.
• Abstract（参考訳）: 複雑な推論問題に対処する大規模言語モデル(LLM)の能力を改善するため,LLMをステップバイステップで推論するためのチェーン・オブ・シント法(CoT)が提案され,単純から複雑への問題解決が可能となった。 このようなチェーンを生成するための最先端の手法には、学習者がLLMによって評価された中間的思考を候補として生成し、その後の思考を導く対話的なコラボレーションが含まれる。 しかしながら、広く検討されている問題は、LLMの評価が一般的にうるさく、信頼できないことであり、将来的な中間的思考を選択する際に生成過程を誤解させる可能性があることである。 本稿では,Vapnikの原理を背景として,LLMからのノイズフィードバックを伴い,期待できる中間思想を探索するために,ポイントワイズスコアの代わりにペアワイズ比較評価を用いる。 各ラウンドにおいて、中間思考をランダムにペアリングし、LSMに直接、各ペアからより有望な思考を選択するように促し、反復的なプロセスを通じて最も有望な思考を特定できるようにします。 比較においてさらにノイズを軽減するため、アンサンブル学習とデュエルバンディットの技法を取り入れ、アルゴリズムの2つの変種を提案する。 実世界の3つのタスクの実験は,提案アルゴリズムの有効性を実証し,ペア比較機構の理論的根拠を検証する。

関連論文リスト

• DynaThink: Fast or Slow? A Dynamic Decision-Making Framework for Large Language Models [42.95876831743256]
  大規模言語モデル(LLM)は、Chains-of-Thoughtプロンプトを通じて、さまざまな推論タスクにまたがる創発的な機能を示している。 本稿では,LLMが高速かつ低速な推論手法を自律的に選択できることの課題に対処する。 LLMが高速に高信頼の解を識別するタスクに指定された「Fast」と、LLMが複雑だと認識するタスクに割り当てられた「Slow」という2つの異なる経路に分類する動的意思決定フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-07-01T06:45:13Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [79.37150041259066]
  本稿では, 事実推論や数学的証明といったIR課題に対処するために, 反陽性と矛盾の論理を用いた間接推論(IR)手法を提案する。 GPT-3.5-turbo や Gemini-pro などの一般的な LLM の実験結果から,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることを示した。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)
• R$^3$ Prompting: Review, Rephrase and Resolve for Chain-of-Thought Reasoning in Large Language Models under Noisy Context [12.475979274233458]
  雑音条件下でのChain-of-Thought(CoT)推論のための新しいプロンプト手法,すなわちR$3$プロンプトを提案する。 実験の結果,R$3$は,雑音条件下での5つの推論タスクにおいて,既存のCoTプロンプトよりも有意に優れていた。
  論文  参考訳（メタデータ） (2023-10-25T10:34:02Z)
• Plan, Verify and Switch: Integrated Reasoning with Diverse X-of-Thoughts [65.15322403136238]
  我々は,多種多様な推論の思考をLCMに促すことにより,総合的な問題解決フレームワーク XoT を提案する。 各質問に対して、XoTは常に最も適切なメソッドを選択して始まり、各メソッドを反復的に実行する。 各イテレーション内で、XoTは生成された回答の有効性を積極的にチェックし、外部エグゼクタからのフィードバックを取り入れます。
  論文  参考訳（メタデータ） (2023-10-23T07:02:20Z)
• Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs' Non-linear Thinking [40.22335733384235]
  CoT(Chain-of-Thought)のプロンプトとその変種は、高レベルの推論能力を持つ大規模言語モデルを装備することを模索している。 我々は,排除と推論の原理を組み合わせた新しいプロンプトである textbfInferential textbfExclusion textbfPrompting (IEP) を提案する。
  論文  参考訳（メタデータ） (2023-10-18T21:42:16Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.89346248535922]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。