論文の概要: GLoRe: When, Where, and How to Improve LLM Reasoning via Global and Local Refinements

• arxiv url: http://arxiv.org/abs/2402.10963v2
• Date: Tue, 25 Jun 2024 03:14:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 20:28:47.657117
• Title: GLoRe: When, Where, and How to Improve LLM Reasoning via Global and Local Refinements
• Title（参考訳）: GLoRe: グローバル・ローカル・リファインメントによるLCMリファインティングの改善方法
• Authors: Alex Havrilla, Sharath Raparthy, Christoforus Nalmpantis, Jane Dwivedi-Yu, Maksym Zhuravinskyi, Eric Hambro, Roberta Raileanu,
• Abstract要約: 最先端の言語モデルは、数学、科学、あるいはコーディングタスクに関する驚くべき推論の洗練能力を示すことができる。 しかし、最高のモデルでさえ、外部からのフィードバックを使わずに、Textitwhenと洗練すべき場所を特定するのに苦労している。 我々は、最適ポリシーの今後の報奨を近似するために、合成データのみに基づいて訓練されたステップワイズORMを提案する。
• 参考スコア（独自算出の注目度）: 18.939302106382094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art language models can exhibit impressive reasoning refinement capabilities on math, science or coding tasks. However, recent work demonstrates that even the best models struggle to identify \textit{when and where to refine} without access to external feedback. Outcome-based Reward Models (\textbf{ORMs}), trained to predict correctness of the final answer indicating when to refine, offer one convenient solution for deciding when to refine. Process Based Reward Models (\textbf{PRMs}), trained to predict correctness of intermediate steps, can then be used to indicate where to refine. But they are expensive to train, requiring extensive human annotations. In this paper, we propose Stepwise ORMs (\textbf{SORMs}) which are trained, only on synthetic data, to approximate the expected future reward of the optimal policy or $V^{\star}$. More specifically, SORMs are trained to predict the correctness of the final answer when sampling the current policy many times (rather than only once as in the case of ORMs). Our experiments show that SORMs can more accurately detect incorrect reasoning steps compared to ORMs, thus improving downstream accuracy when doing refinements. We then train \textit{global} refinement models, which take only the question and a draft solution as input and predict a corrected solution, and \textit{local} refinement models which also take as input a critique indicating the location of the first reasoning error. We generate training data for both models synthetically by reusing data used to train the SORM. We find combining global and local refinements, using the ORM as a reranker, significantly outperforms either one individually, as well as a best of three sample baseline. With this strategy we can improve the accuracy of a LLaMA-2 13B model (already fine-tuned with RL) on GSM8K from 53\% to 65\% when greedily sampled.
• Abstract（参考訳）: 最先端の言語モデルは、数学、科学、コーディングタスクにおいて、驚くべき推論の洗練能力を示すことができる。 しかし、最近の研究は、最高のモデルでさえ、外部からのフィードバックにアクセスせずに、 \textit{when and to refine}を識別するのに苦労していることを示している。 Outcome-based Reward Models (\textbf{ORMs}) は、いつ精錬するかを示す最終回答の正しさを予測するために訓練された。 Process Based Reward Models (\textbf{PRMs}) は、中間ステップの正しさを予測するために訓練され、どこを洗練すべきかを示すために使われる。 しかし、訓練には費用がかかるため、広範囲の人的アノテーションが必要になる。 本稿では、最適ポリシーの今後の報奨や$V^{\star}$を近似するために、合成データのみに基づいてトレーニングされたStepwise ORM(\textbf{SORMs})を提案する。 より具体的には、SORMは現在のポリシーを何度もサンプリングする際(ORMの場合のように一度ではなく)、最終回答の正しさを予測するために訓練されます。 実験の結果、SORMはORMと比較して誤った推論ステップを正確に検出でき、改良を行う際の下流の精度が向上することがわかった。 次に、質問と草案解のみを入力とし、修正された解を予測する「textit{global}リファインメントモデル」と、第1の推論誤差の位置を示す入力となる「textit{local}リファインメントモデル」を訓練する。 我々は、SORMのトレーニングに使用されるデータを再利用することで、両方のモデルのトレーニングデータを合成的に生成する。 ORMをリランカとして使用することで、グローバルとローカルのリファインメントを組み合わせることで、個別に1つ、あるいは3つのサンプルベースラインで最高のパフォーマンスを実現しています。 この戦略により、GSM8K上のLLaMA-2 13Bモデル(既にRLで微調整されている)のグリーズサンプリング時の精度を 53\% から 65\% に改善できる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• MoFO: Momentum-Filtered Optimizer for Mitigating Forgetting in LLM Fine-Tuning [11.174544614042984]
  微調整の間、大きな言語モデル(LLM)は、事前学習段階で得られた知識を忘れてしまう可能性があるため、一般的な能力は低下する。 我々はMomentum-Filtered Algorithm (MoFO)と呼ばれる新しい微調整アルゴリズムを提案する。 MoFOは、トレーニング済みモデルにパラメータを近づけながら、同様の微調整性能を達成する。
  論文  参考訳（メタデータ） (2024-07-30T17:38:24Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Simple and Scalable Strategies to Continually Pre-train Large Language Models [20.643648785602462]
  大規模言語モデル(LLM)は、数十億のトークンで定期的に事前訓練されるが、新しいデータが利用可能になると、プロセスを再開する。 学習率のリウォーミング、LR再計算、過去のデータのリプレイをシンプルかつスケーラブルに組み合わせることで、スクラッチから完全に再学習する性能に匹敵することを示す。
  論文  参考訳（メタデータ） (2024-03-13T17:58:57Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• Rephrasing the Web: A Recipe for Compute and Data-Efficient Language Modeling [27.975832264345772]
  本稿では,Web上の文書をパラフレーズ化するために,既製の命令調整モデルを用いたWeb Rephrase Augmented Pre-training(textbfWRAP$)を提案する。 自然にノイズの多いC4データセットでWRAPを使用することで、プリトレーニングを$sim3x$で高速化する。 同じトレーニング済みの計算予算で、Pileのさまざまなサブセットで平均して10%以上のパープレキシティを改善し、13のタスクでゼロショットの質問応答精度を2%以上改善する。
  論文  参考訳（メタデータ） (2024-01-29T18:19:08Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models [0.6124773188525718]
  新しいデータセットごとに自然言語処理(NLP)モデルを微調整するには、炭素フットプリントの増加とコストの増大に伴う高い計算時間が必要である。 本稿では,MMR(Marginal Maximum Relevance)に基づくアプローチが,事前学習に使用しなかった新しいデータセットから直接,クエリ中心の要約を得る上で有効かどうかを検討する。 実験結果から示すように,MMRに基づく手法では,最も関連性の高い文を要約としてランク付けし,個々の事前学習モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-03-10T22:40:15Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。