論文の概要: Think Beyond Size: Adaptive Prompting for More Effective Reasoning
- arxiv url: http://arxiv.org/abs/2410.08130v2
- Date: Fri, 29 Nov 2024 16:18:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:17:35.885498
- Title: Think Beyond Size: Adaptive Prompting for More Effective Reasoning
- Title（参考訳）: サイズを超えて考える:より効果的な推論のための適応型プロンプト
- Authors: Kamesh R,
- Abstract要約: 本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。
その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。
提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Pretrained large language models (LLMs) are increasingly utilized across a wide range of natural language processing (NLP) tasks due to their impressive capabilities as few-shot learners. Recent techniques, such as chain-of-thought (CoT) prompting, have significantly advanced multi-step reasoning by introducing step-by-step decomposition, achieving state-of-the-art results on complex reasoning benchmarks. However, these approaches often rely on static prompting templates that do not adapt to task complexity or errors during the reasoning process. In this work, we introduce Adaptive Prompting, a dynamic and iterative framework designed to enhance reasoning by incorporating real-time adjustments to prompt structures and validation mechanisms.Experimental results demonstrate that Adaptive Prompting significantly improves performance on diverse reasoning benchmarks, including arithmetic reasoning (GSM8K, MultiArith), logical reasoning and commonsense tasks, achieving substantial accuracy gains compared to static prompting baselines. By integrating guided prompts, intermediate validation, and self-corrective steps, our approach enables smaller models to achieve competitive performance with larger counterparts, such as GPT-4, while maintaining computational efficiency. The framework achieves this without requiring fine-tuning or task-specific training data, highlighting the untapped potential of iterative reasoning methods.
- Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、数発の学習者としての印象的な能力のため、広範囲の自然言語処理(NLP)タスクでますます活用されている。
チェーン・オブ・ソート(CoT)の促進のような最近の技術は、ステップ・バイ・ステップの分解を導入し、複雑な推論ベンチマークで最先端の結果を得るなど、多段階推論を著しく進歩させてきた。
しかしながら、これらのアプローチは、推論プロセス中にタスクの複雑さやエラーに適応しない静的なプロンプトテンプレートに依存することが多い。
本研究では,動的かつ反復的なフレームワークであるAdaptive Promptingを導入し,解析的推論(GSM8K,MultiArith)や論理的推論,コモンセンスタスクなど多種多様な推論ベンチマークの性能向上を実証し,静的なプロンプトベースラインと比較してかなりの精度向上を実現した。
提案手法は,ガイド付きプロンプト,中間検証,自己補正の各ステップを統合することで,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
このフレームワークは、微調整やタスク固有のトレーニングデータを必要とせずに、これを実現する。
関連論文リスト
- On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。
我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。
未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文 参考訳（メタデータ） (2024-10-08T03:12:57Z) - Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。
提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-10-04T01:28:56Z) - Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。
提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
論文 参考訳（メタデータ） (2024-07-01T17:28:59Z) - E-Bench: Towards Evaluating the Ease-of-Use of Large Language Models [29.763745375790933]
大規模言語モデル(LLM)はプロンプトに敏感であり、別の同義語表現やタイプミスはモデルに対して予期せぬ結果をもたらす可能性がある。
我々は,LLMの使いやすさを評価し,実際の使用状況をシミュレートしたE-Benchを構築した。
論文 参考訳（メタデータ） (2024-06-16T14:08:30Z) - Improving the Robustness of Transformer-based Large Language Models with
Dynamic Attention [43.95101492654236]
BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。
近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。
本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-29T07:09:13Z) - Variational Temporal IRT: Fast, Accurate, and Explainable Inference of
Dynamic Learner Proficiency [5.715502630272047]
学習者の習熟度を高速かつ正確に推定するための変分時IRT(VTIRT)を提案する。
VTIRTは、正確な推論を提供しながら、推論ランタイムにおいて桁違いのスピードアップを提供する。
9つの実際の学生データセットに適用すると、VTIRTは将来的な学習者のパフォーマンスを予測するための改善を一貫して得る。
論文 参考訳（メタデータ） (2023-11-14T23:36:39Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳（メタデータ） (2023-01-25T03:06:03Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - Quadratic mutual information regularization in real-time deep CNN models [51.66271681532262]
擬似相互情報による正規化手法を提案する。
種々の二項分類問題の実験を行い,提案モデルの有効性を示した。
論文 参考訳（メタデータ） (2021-08-26T13:14:24Z) - Automated and Formal Synthesis of Neural Barrier Certificates for
Dynamical Models [70.70479436076238]
バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。
このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。
その結果,音のBCsを最大2桁の速度で合成できることがわかった。
論文 参考訳（メタデータ） (2020-07-07T07:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。