Fugu-MT 論文翻訳(概要): Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

論文の概要: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

arxiv url: http://arxiv.org/abs/2408.03314v1
Date: Tue, 6 Aug 2024 17:35:05 GMT
ステータス: 処理完了
システム内更新日: 2024-08-07 13:28:25.001612
Title: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
Title（参考訳）: LLMテスト時間計算の最適スケーリングはモデルパラメータのスケーリングよりも効果的である
Authors: Charlie Snell, Jaehoon Lee, Kelvin Xu, Aviral Kumar,
Abstract要約: LLMにおける推論時間計算のスケーリングについて検討する。どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
参考スコア（独自算出の注目度）: 27.656263126925815
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Enabling LLMs to improve their outputs by using more test-time computation is a critical step towards building generally self-improving agents that can operate on open-ended natural language. In this paper, we study the scaling of inference-time computation in LLMs, with a focus on answering the question: if an LLM is allowed to use a fixed but non-trivial amount of inference-time compute, how much can it improve its performance on a challenging prompt? Answering this question has implications not only on the achievable performance of LLMs, but also on the future of LLM pretraining and how one should tradeoff inference-time and pre-training compute. Despite its importance, little research attempted to understand the scaling behaviors of various test-time inference methods. Moreover, current work largely provides negative results for a number of these strategies. In this work, we analyze two primary mechanisms to scale test-time computation: (1) searching against dense, process-based verifier reward models; and (2) updating the model's distribution over a response adaptively, given the prompt at test time. We find that in both cases, the effectiveness of different approaches to scaling test-time compute critically varies depending on the difficulty of the prompt. This observation motivates applying a "compute-optimal" scaling strategy, which acts to most effectively allocate test-time compute adaptively per prompt. Using this compute-optimal strategy, we can improve the efficiency of test-time compute scaling by more than 4x compared to a best-of-N baseline. Additionally, in a FLOPs-matched evaluation, we find that on problems where a smaller base model attains somewhat non-trivial success rates, test-time compute can be used to outperform a 14x larger model.
Abstract（参考訳）: LLMをもっとテスト時間計算を使って出力を改善することは、オープンな自然言語で操作できる汎用的な自己改善エージェントを構築するための重要なステップである。本稿では, LLMにおける推論時間計算のスケーリングについて検討し, LLMが固定量でも非自明量でも構わない推論時間計算を許せば, 挑戦的なプロンプトでその性能をどの程度向上できるのか,という疑問に答えることに焦点をあてる。この疑問への答えは、LLMの達成可能な性能だけでなく、LLM事前学習の将来や、推論時間と事前学習計算のトレードオフ方法にも影響する。その重要性にも拘わらず、様々なテストタイム推論手法のスケーリング挙動を解明しようとする研究はほとんどなかった。さらに、現在の作業は、これらの戦略の多くに否定的な結果をもたらします。本研究では,(1)高密度なプロセスベースの検証者報酬モデルに対する探索,(2)テスト時のプロンプトが与えられた場合の応答上のモデルの分布を適応的に更新する2つの主要なメカニズムを解析する。どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。この観察は、プロンプト毎のテスト時間計算を適応的に最適に割り当てる「計算最適化」スケーリング戦略の適用を動機付けている。この計算最適戦略を用いることで、ベストオブNベースラインに比べて、テストタイムの計算スケーリングの効率を4倍以上に向上させることができる。さらに、FLOPsマッチング評価において、より小さなベースモデルが多少の自明な成功率を達成する問題において、テスト時間計算が14倍のモデルより優れていることが判明した。

関連論文リスト

Rational Metareasoning for Large Language Models [5.5539136805232205]
大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
論文参考訳（メタデータ） (2024-10-07T23:48:52Z)
Inference Scaling for Long-Context Retrieval Augmented Generation [37.15479223789199]
本研究では,検索拡張生成(RAG)のための推論スケーリングについて検討する。インコンテキスト学習と反復的プロンプトという,2つの推論スケーリング戦略に注目します。我々は、長期コンテキストの大規模言語モデル上での推論計算のスケーリングが、ベンチマークデータセットで最大58.9%のゲインを達成することを実証した。
論文参考訳（メタデータ） (2024-10-06T03:42:15Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文参考訳（メタデータ） (2024-02-07T01:46:50Z)
Benchmarking Causal Study to Interpret Large Language Models for Source Code [6.301373791541809]
本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
論文参考訳（メタデータ） (2023-08-23T20:32:12Z)
Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文参考訳（メタデータ） (2023-05-26T11:17:45Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
論文参考訳（メタデータ） (2023-02-28T19:23:20Z)
Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文参考訳（メタデータ） (2022-07-14T17:00:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。