論文の概要: Think Beyond Size: Dynamic Prompting for More Effective Reasoning

• arxiv url: http://arxiv.org/abs/2410.08130v1
• Date: Thu, 10 Oct 2024 17:14:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 05:05:45.043536
• Title: Think Beyond Size: Dynamic Prompting for More Effective Reasoning
• Title（参考訳）: サイズを超えて考える:より効果的な推論のための動的プロンプト
• Authors: Kamesh R,
• Abstract要約: 本稿では,Large Language Models(LLM)の推論能力向上を目的とした新しいフレームワークであるDynamic Promptingを提案する。 従来の静的プロンプト法とは対照的に、Dynamic Promptingはリアルタイムタスクの複雑さとモデル性能に基づいて、プロンプトシーケンスとステップカウントの適応的な修正を可能にする。 実験により, より小型のLCMにおいて, より大型のモデルと競争的に動作できることが示され, 推理効果の第一決定要因として, 従来のモデルサイズ重視に挑戦した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents Dynamic Prompting, a novel framework aimed at improving the reasoning capabilities of Large Language Models (LLMs). In contrast to conventional static prompting methods, Dynamic Prompting enables the adaptive modification of prompt sequences and step counts based on real-time task complexity and model performance. This dynamic adaptation facilitates more efficient problem-solving, particularly in smaller models, by reducing hallucinations and repetitive cycles. Our empirical evaluations demonstrate that Dynamic Prompting allows smaller LLMs to perform competitively with much larger models, thereby challenging the conventional emphasis on model size as the primary determinant of reasoning efficacy.
• Abstract（参考訳）: 本稿では,Large Language Models(LLM)の推論能力向上を目的とした新しいフレームワークであるDynamic Promptingを提案する。 従来の静的プロンプト法とは対照的に、Dynamic Promptingはリアルタイムタスクの複雑さとモデル性能に基づいて、プロンプトシーケンスとステップカウントの適応的な修正を可能にする。 この動的適応は、特により小さなモデルにおいて、幻覚や反復サイクルを減らすことにより、より効率的な問題解決を促進する。 実験により, より小型のLCMにおいて, より大型のモデルと競争的に動作できることが示され, 推理効果の第一決定要因として, 従来のモデルサイズ重視に挑戦した。

関連論文リスト

• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Achieving More with Less: Additive Prompt Tuning for Rehearsal-Free Class-Incremental Learning [76.32953653161417]
  クラス増分学習は、モデルが学習したクラスの知識を保持しながら、新しいクラスを段階的に学習することを可能にする。 この分野での最近の進歩はパラメータ効率のよい微調整技術へと移行している。 本稿では,現在のアプローチの限界に対処する新しいプロンプトベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-03-11T02:27:37Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• PEA: Enhancing LLM Performance on Computational-Reasoning Tasks [21.13926189404758]
  本研究では、計算推論問題と呼ばれる重要な推論タスクのクラスを記述し、解決するための形式的なアプローチを紹介する。 このフレームワークはこれらの問題を述語と列挙の構成要素に分解し、LLMを使って特定の述語、列挙、集約ルールに基づいてプログラムを合成する。 実験的な評価により、PEAはベンチマーク計算問題における基礎となるモデルの性能を大幅に向上し、平均精度が約50%向上し、効率が向上することがわかった。
  論文  参考訳（メタデータ） (2025-02-16T00:27:05Z)
• Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
  我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
  論文  参考訳（メタデータ） (2024-12-19T17:03:02Z)
• Evolutionary Pre-Prompt Optimization for Mathematical Reasoning [45.461506988071534]
  本稿では,実効的なチェーン・オブ・フォー・プレプロンプトの設計におけるサンプル選択の最適化について検討する。 アルゴリズムの選択は、通常、進化的計算のような比較に基づく手法に有利であり、有効性と実現可能性を大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2024-12-05T16:12:06Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Enhancing Short-Text Topic Modeling with LLM-Driven Context Expansion and Prefix-Tuned VAEs [25.915607750636333]
  本稿では,大規模言語モデル(LLM)を利用して,トピックモデリングを適用する前に,短いテキストをより詳細なシーケンスに拡張する手法を提案する。 提案手法は,データ空間が極端である実世界のデータセットに対する広範な実験により,短文のトピックモデリング性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-04T01:28:56Z)
• Derailer-Rerailer: Adaptive Verification for Efficient and Reliable Language Model Reasoning [11.765298236504155]
  Derailer-Rerailerは推論精度と計算効率のバランスをとる新しいフレームワークである。 提案手法は,従来の検証手法に比べて2～3倍の効率を維持しつつ,大幅な精度向上(8～11%)を実現している。
  論文  参考訳（メタデータ） (2024-08-25T21:20:17Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• E-Bench: Towards Evaluating the Ease-of-Use of Large Language Models [29.763745375790933]
  大規模言語モデル(LLM)はプロンプトに敏感であり、別の同義語表現やタイプミスはモデルに対して予期せぬ結果をもたらす可能性がある。 我々は,LLMの使いやすさを評価し,実際の使用状況をシミュレートしたE-Benchを構築した。
  論文  参考訳（メタデータ） (2024-06-16T14:08:30Z)
• Improving the Robustness of Transformer-based Large Language Models with Dynamic Attention [43.95101492654236]
  BERTやGPTといったトランスフォーマーベースのモデルは、自然言語処理(NLP)において広く採用されている。 近年の研究では、テキスト入力を意図的に操作することで、モデルの出力を誤認できるような、テキストの敵対攻撃に対する脆弱性が示されている。 本稿では,トランスアーキテクチャに適した動的アテンション(動的アテンション)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-29T07:09:13Z)
• Variational Temporal IRT: Fast, Accurate, and Explainable Inference of Dynamic Learner Proficiency [5.715502630272047]
  学習者の習熟度を高速かつ正確に推定するための変分時IRT(VTIRT)を提案する。 VTIRTは、正確な推論を提供しながら、推論ランタイムにおいて桁違いのスピードアップを提供する。 9つの実際の学生データセットに適用すると、VTIRTは将来的な学習者のパフォーマンスを予測するための改善を一貫して得る。
  論文  参考訳（メタデータ） (2023-11-14T23:36:39Z)
• Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For Advection-Dominated Systems [14.553972457854517]
  複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。 ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
  論文  参考訳（メタデータ） (2023-01-25T03:06:03Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Rationale-Augmented Ensembles in Language Models [53.45015291520658]
  我々は、数発のテキスト内学習のための合理化促進策を再考する。 我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。 有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-02T06:20:57Z)
• Quadratic mutual information regularization in real-time deep CNN models [51.66271681532262]
  擬似相互情報による正規化手法を提案する。 種々の二項分類問題の実験を行い,提案モデルの有効性を示した。
  論文  参考訳（メタデータ） (2021-08-26T13:14:24Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。