論文の概要: Re-Reading Improves Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2309.06275v1
• Date: Tue, 12 Sep 2023 14:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 12:30:34.416807
• Title: Re-Reading Improves Reasoning in Language Models
• Title（参考訳）: 言語モデルの推論を改善する再読法
• Authors: Xiaohan Xu, Chongyang Tao, Tao Shen, Can Xu, Hongbo Xu, Guodong Long, Jian-guang Lou
• Abstract要約: 我々は「再読解(re-reading)」とよばれる、一見単純だが非常に効果的なプロンプト戦略を導入する。 このアプローチは強化の認知原理とシームレスに一致し、LLMが深い洞察を抽出することを可能にする。
• 参考スコア（独自算出の注目度）: 91.96027668854406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning presents a significant and challenging issue for Large Language Models (LLMs). The predominant focus of research has revolved around developing diverse prompting strategies to guide and structure the reasoning processes of LLMs. However, these approaches based on decoder-only causal language models often operate the input question in a single forward pass, potentially missing the rich, back-and-forth interactions inherent in human reasoning. Scant attention has been paid to a critical dimension, i.e., the input question itself embedded within the prompts. In response, we introduce a deceptively simple yet highly effective prompting strategy, termed question "re-reading". Drawing inspiration from human learning and problem-solving, re-reading entails revisiting the question information embedded within input prompts. This approach aligns seamlessly with the cognitive principle of reinforcement, enabling LLMs to extract deeper insights, identify intricate patterns, establish more nuanced connections, and ultimately enhance their reasoning capabilities across various tasks. Experiments conducted on a series of reasoning benchmarks serve to underscore the effectiveness and generality of our method. Moreover, our findings demonstrate that our approach seamlessly integrates with various language models, though-eliciting prompting methods, and ensemble techniques, further underscoring its versatility and compatibility in the realm of LLMs.
• Abstract（参考訳）: 推論は大規模言語モデル(llm)にとって重要かつ困難な問題である。 研究の主な焦点は、LSMの推論プロセスのガイドと構造化のための多様なプロンプト戦略の開発である。 しかしながら、これらのアプローチはデコーダのみに基づく因果関係言語モデルに基づいており、人間の推論に固有のリッチでバック・アンド・フォースな相互作用を欠いている可能性がある。 わずかな注意が批判的な次元、すなわち入力質問自体がプロンプトに埋め込まれている。 これに対し,本研究では,「再読解」とよばれる,極めて単純かつ効果的なプロンプト戦略を導入する。 人間の学習と問題解決からインスピレーションを得るには、入力プロンプトに埋め込まれた質問情報を再考する必要がある。 このアプローチは強化の認知原理とシームレスに一致し、LLMは深い洞察を抽出し、複雑なパターンを特定し、よりニュアンスなつながりを確立し、最終的には様々なタスクにわたる推論能力を高めることができる。 一連の推論ベンチマークで行った実験は,本手法の有効性と一般性を明らかにするのに役立つ。 さらに,提案手法が様々な言語モデルとシームレスに統合され,提案手法はプロンプト手法やアンサンブル技法をも含み,llmの領域における汎用性と互換性をさらに強調することを示した。

関連論文リスト

• Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning [0.0]
  反復的人間のエンゲージメントは、大規模言語モデル(LLM)の高度な言語処理能力を活用するための一般的かつ効果的な手段である。 思考の反復(IoT)フレームワークを提案する。 静的アプローチや半静的アプローチとは異なり、IoTは進化するコンテキストに基づいて推論パスを動的に適応する。
  論文  参考訳（メタデータ） (2024-09-19T09:44:17Z)
• Evidence to Generate (E2G): A Single-agent Two-step Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
  Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。 証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。 ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
  論文  参考訳（メタデータ） (2024-01-11T09:49:15Z)
• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models [63.808843089941405]
  大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。 非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。 2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
  論文  参考訳（メタデータ） (2020-10-16T18:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。