論文の概要: Towards A Unified View of Answer Calibration for Multi-Step Reasoning
- arxiv url: http://arxiv.org/abs/2311.09101v1
- Date: Wed, 15 Nov 2023 16:47:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 15:04:30.723747
- Title: Towards A Unified View of Answer Calibration for Multi-Step Reasoning
- Title（参考訳）: マルチステップ推論における解答校正の一考察
- Authors: Shumin Deng, Ningyu Zhang, Nay Oo, Bryan Hooi
- Abstract要約: 我々は,近年の解答校正戦略の設計を分解し,それら間の接続を確立する統一的な視点を示す。
本研究は,解答校正による多段階推論を最適化するための重要な知見を照らし出す可能性を秘めている。
- 参考スコア（独自算出の注目度）: 58.86782859131238
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) employing Chain-of-Thought (CoT) prompting have
broadened the scope for improving multi-step reasoning capabilities. Usually,
answer calibration strategies such as step-level or path-level calibration play
a vital role in multi-step reasoning. While effective, there remains a
significant gap in our understanding of the key factors that drive their
success. In this paper, we break down the design of recent answer calibration
strategies and present a unified view which establishes connections between
them. We then conduct a thorough evaluation on these strategies from a unified
view, systematically scrutinizing step-level and path-level answer calibration
across multiple paths. Our study holds the potential to illuminate key insights
for optimizing multi-step reasoning with answer calibration.
- Abstract（参考訳）: CoT(Chain-of-Thought)をプロンプトする大規模言語モデル(LLM)は、多段階推論機能の改善の範囲を広げた。
通常、ステップレベルのキャリブレーションやパスレベルのキャリブレーションのような答えのキャリブレーション戦略は、多段階推論において重要な役割を果たす。
効果はあるものの、成功を導く重要な要因に対する私たちの理解には大きなギャップがあります。
本稿では,近年の解答校正戦略を概説し,それら間の接続を確立する統一的な視点を示す。
次に,複数の経路にまたがるステップレベルおよびパスレベルの応答校正を体系的に精査し,統一的な視点からこれらの戦略を徹底的に評価する。
本研究は,解答校正による多段階推論を最適化するための重要な洞察を照らす可能性を持っている。
関連論文リスト
- Prompt Chaining or Stepwise Prompt? Refinement in Text Summarization [31.80150267600029]
Prompt ChainingとStepwise Promptの2つの戦略は反復的なプロセスを実行するように設計されている。
本稿では,これら2つの手法をテキスト要約の文脈で検証し,比較することを目的とした。
実験結果から, プロンプト連鎖法によりより良好な結果が得られることが示された。
論文 参考訳（メタデータ） (2024-06-01T17:28:38Z) - PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
木探索に基づく推論経路生成手法であるPathFinderを提案する。
動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。
我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
論文 参考訳（メタデータ） (2023-12-08T17:05:47Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。
本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
論文 参考訳（メタデータ） (2023-08-24T05:26:54Z) - Towards a Theoretical Foundation of Policy Optimization for Learning
Control Policies [26.04704565406123]
グラディエントベースの手法は、様々なアプリケーション領域におけるシステム設計と最適化に広く使われてきた。
近年、制御と強化学習の文脈において、これらの手法の理論的性質の研究に新たな関心が寄せられている。
本稿では、フィードバック制御合成のための勾配に基づく反復的アプローチであるポリシー最適化に関する最近の開発について概説する。
論文 参考訳（メタデータ） (2022-10-10T16:13:34Z) - Empirical Bayes Transductive Meta-Learning with Synthetic Gradients [24.18142841376967]
本稿では,複数のタスクからトランスダクティブな環境下で学習するメタラーニング手法を提案する。
メタモデルを用いてすべての変分後部を結合する新しい補正変分推論を導出する。
The Mini-ImageNet and CIFAR-FS benchmarks for episodic few-shot classification outform out of previous State-of-the-art method。
論文 参考訳（メタデータ） (2020-04-27T10:39:33Z) - Learning to Recover Reasoning Chains for Multi-Hop Question Answering
via Cooperative Games [66.98855910291292]
本稿では,弱い教師付き信号から推論連鎖を復元する学習法を提案する。
証拠通路をどのように選択し、どのように選択された通路を接続するかを2つのモデルで処理する。
評価のために、2つのマルチホップQAデータセットに基づいたベンチマークを作成しました。
論文 参考訳（メタデータ） (2020-04-06T03:54:38Z) - Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。
我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。
適応勾配法の一般化に関する経験的および理論的考察を示す。
論文 参考訳（メタデータ） (2020-02-26T21:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。