論文の概要: Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning
and Coding with LLMs
- arxiv url: http://arxiv.org/abs/2305.11860v2
- Date: Thu, 16 Nov 2023 16:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 22:45:14.122334
- Title: Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning
and Coding with LLMs
- Title(参考訳): ステップバイステップ:効率的な推論とllmsによるコーディングのための適応一貫性
- Authors: Pranjal Aggarwal, Aman Madaan, Yiming Yang, Mausam
- Abstract要約: 大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。
コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。
実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
- 参考スコア(独自算出の注目度): 60.58434523646137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A popular approach for improving the correctness of output from large
language models (LLMs) is Self-Consistency - poll the LLM multiple times and
output the most frequent solution. Existing Self-Consistency techniques always
generate a constant number of samples per question, where a better approach
will be to non-uniformly distribute the available budget based on the amount of
agreement in the samples generated so far. In response, we introduce
Adaptive-Consistency, a cost-efficient, model-agnostic technique that
dynamically adjusts the number of samples per question using a lightweight
stopping criterion. Our experiments over 17 reasoning and code generation
datasets and three LLMs demonstrate that Adaptive-Consistency reduces sample
budget by up to 7.9 times with an average accuracy drop of less than 0.1%. Our
code and data are available at https://www.sample-step-by-step.info
- Abstract(参考訳): 大規模言語モデル(llm)からの出力の正確性を改善するための一般的なアプローチは、自己一貫性(self-consistency)である。
既存の自己一貫性技術は常に質問毎に一定の数のサンプルを生成します。そこでは、これまで生成されたサンプルの合意の量に基づいて、利用可能な予算を均一に分散する方がよいでしょう。
そこで,我々は,軽量な停止基準を用いて,質問毎のサンプル数を動的に調整するコスト効率の高いモデル非依存手法であるadaptive-consistencyを導入する。
17の推論とコード生成データセットと3つのLCMによる実験により、Adaptive-Consistencyはサンプル予算を最大7.9倍削減し、平均精度は0.1%未満であることが示された。
私たちのコードとデータはhttps://www.sample-step-by-step.infoで入手できます。
関連論文リスト
- SEED: Customize Large Language Models with Sample-Efficient Adaptation
for Code Generation [39.19979759086193]
大規模言語モデル(LLM)は、特定のシナリオでコード生成タスクに苦労する。
コード生成のための誤り駆動学習を用いたサンプル効率適応のためのSEEDという新しい適応手法を提案する。
その結果,SEEDではPass@1で27.2%-325.0%の改善が見られた。
論文 参考訳(メタデータ) (2024-02-29T16:09:02Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - S$^{2}$-DMs:Skip-Step Diffusion Models [10.269647566864247]
拡散モデルは強力な生成ツールとして出現し、サンプル品質のGANと競合し、自己回帰モデルの可能性スコアを反映している。
これらのモデルのサブセットはDDIMによって例示され、固有の非対称性を示す:それらは$T$ステップで訓練されるが、生成時に$T$のサブセットからのみサンプルされる。
この選択的なサンプリング手法は、スピードに最適化されているが、無サンプルのステップから必然的に重要な情報を見逃し、サンプルの品質が損なわれる可能性がある。
革新的な$Lを用いた新しいトレーニング手法であるS$2$-DMを提案する。
論文 参考訳(メタデータ) (2024-01-03T03:08:32Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Pareto Optimization for Active Learning under Out-of-Distribution Data
Scenarios [79.02009938011447]
本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。
実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
論文 参考訳(メタデータ) (2022-07-04T04:11:44Z) - A Robust Optimization Method for Label Noisy Datasets Based on Adaptive
Threshold: Adaptive-k [0.0]
SGDはラベルノイズのあるデータセットに対してロバストな結果を出さない。
本稿では,ミニバッチのすべてのサンプルを使用する代わりに,最適化プロセス中に決定される閾値未満の損失を持つサンプルを使用することを推奨する。
提案手法であるAdaptive-kは,ラベルノイズサンプルを最適化プロセスから排除し,その処理を堅牢化することを目的としている。
論文 参考訳(メタデータ) (2022-03-26T21:48:12Z) - Fast Variational AutoEncoder with Inverted Multi-Index for Collaborative
Filtering [59.349057602266]
変分オートエンコーダ (VAE) は, 協調フィルタリングの非線形手法として拡張されている。
内積に基づくソフトマックス確率を逆多重インデックスに基づいて分解する。
FastVAEはサンプリング品質と効率の両面で最先端のベースラインを上回っます。
論文 参考訳(メタデータ) (2021-09-13T08:31:59Z) - Optimal Sampling Gaps for Adaptive Submodular Maximization [28.24164217929491]
アダプティブサブモジュラの文脈における確率サンプリングによる性能損失について検討する。
ポリシワイズ・サブモジュラの性質は、現実世界の幅広いアプリケーションで見つけることができることを示しています。
論文 参考訳(メタデータ) (2021-04-05T03:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。