論文の概要: Understanding Before Reasoning: Enhancing Chain-of-Thought with Iterative Summarization Pre-Prompting

• arxiv url: http://arxiv.org/abs/2501.04341v1
• Date: Wed, 08 Jan 2025 08:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:14.547107
• Title: Understanding Before Reasoning: Enhancing Chain-of-Thought with Iterative Summarization Pre-Prompting
• Title（参考訳）: 推論前理解:反復的な要約プリプロンプティングによるチェーン・オブ・ワットの強化
• Authors: Dong-Hai Zhu, Yu-Jie Xiong, Jia-Chen Zhang, Xi-Jiong Xie, Chun-Ming Xia,
• Abstract要約: Chain-of-Thought (CoT) PromptingはLarge Language Models (LLMs)において支配的なパラダイムである 本稿では,鍵情報が明示的に提供されていない場合のLCM推論を改良する,Iterative Summarization Pre-Prompting (ISP2) というプリプロンプト手法を提案する。 ISP2はプリプロンプトによる帰納的アプローチを採用し、多様な推論フレームワークに柔軟な統合を提供する。
• 参考スコア（独自算出の注目度）: 5.2778223130693
• License:
• Abstract: Chain-of-Thought (CoT) Prompting is a dominant paradigm in Large Language Models (LLMs) to enhance complex reasoning. It guides LLMs to present multi-step reasoning, rather than generating the final answer directly. However, CoT encounters difficulties when key information required for reasoning is implicit or missing. This occurs because CoT emphasizes the sequence of reasoning steps while overlooking the early extraction of essential information. We propose a pre-prompting method called Iterative Summarization Pre-Prompting (ISP^2) to refine LLM reasoning when key information is not explicitly provided. First, entities and their corresponding descriptions are extracted to form potential key information pairs. Next, we use a reliability rating to assess these pairs, then merge the two lowest-ranked pairs into a new entity description. This process is repeated until a unique key information pair is obtained. Finally, that pair, along with the original question, is fed into LLMs to produce the answer. Extensive experiments demonstrate a 7.1% improvement compared to existing methods. Unlike traditional prompting, ISP^2 adopts an inductive approach with pre-prompting, offering flexible integration into diverse reasoning frameworks. The code is available at https://github.com/zdhgreat/ISP-2.
• Abstract（参考訳）: CoT(Chain-of-Thought) Promptingは、複雑な推論を強化するために、LLM(Large Language Models)において支配的なパラダイムである。 LLMは最終回答を直接生成するのではなく、多段階の推論を行うように誘導する。 しかし、CoTは推論に必要な重要な情報が暗黙的または欠落している場合に困難に直面する。 これは、CoTが重要な情報の早期抽出を見越しながら、推論ステップのシーケンスを強調しているためである。 本稿では,鍵情報が明示的に提供されていない場合のLLM推論を改良する,Iterative Summarization Pre-Prompting (ISP^2) というプリプロンプト手法を提案する。 まず、エンティティとその対応する記述を抽出し、潜在的キー情報ペアを形成する。 次に、信頼性評価を用いてこれらのペアを評価し、2つの最低ランクのペアを新しいエンティティ記述にマージします。 この処理は、ユニークなキー情報ペアが取得されるまで繰り返される。 最後に、そのペアと元の質問はLLMに入力され、答えが生成される。 大規模な実験では、既存の方法に比べて7.1%改善されている。 従来のプロンプトとは異なり、ISP^2はプリプロンプトによる帰納的アプローチを採用し、多様な推論フレームワークに柔軟な統合を提供する。 コードはhttps://github.com/zdhgreat/ISP-2.comで公開されている。

関連論文リスト

• Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
  CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である 人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
  論文  参考訳（メタデータ） (2024-02-16T12:46:16Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models [16.432208223793666]
  Chain-of-Thoughtはサブクエスト生成と応答を促進させ、多段階推論機能を強化した。 本稿では,GE-Reasoning法を提案する。 提案手法は,マルチホップ質問応答ベンチマークデータセットにおいて,従来のCoTプロンプト手法とその変種よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-16T10:36:08Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)
• ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
  ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。 本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-21T02:19:06Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Arguments to Key Points Mapping with Prompt-based Learning [0.0]
  本稿では,パラメータ対キーポイントマッピングタスクに対する2つのアプローチを提案する。 最初のアプローチは、事前訓練された言語モデルを微調整するためのプロンプトエンジニアリングを統合することである。 第二のアプローチは、PLMにおけるプロンプトベースの学習を利用して中間テキストを生成する。
  論文  参考訳（メタデータ） (2022-11-28T01:48:29Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。