Fugu-MT 論文翻訳(概要): Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling

論文の概要: Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling

arxiv url: http://arxiv.org/abs/2502.06703v1
Date: Mon, 10 Feb 2025 17:30:23 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-11 14:32:40.676787
Title: Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling
Title（参考訳）: 1B LLMは405B LLMを通過できるか? 最適テスト時間スケーリングを再考する
Authors: Runze Liu, Junqi Gao, Jian Zhao, Kaiyan Zhang, Xiu Li, Biqing Qi, Wanli Ouyang, Bowen Zhou,
Abstract要約: テスト時間スケーリングは、大規模言語モデルの性能を向上させる重要な方法である。異なるポリシーモデル、PRM、問題の難易度にまたがってテスト時間計算をスケールするための最適なアプローチは何か? 計算-最適TS戦略により、非常に小さなポリシーモデルがより大きなモデルより優れていることを示す。
参考スコア（独自算出の注目度）: 69.57918638435491
License:
Abstract: Test-Time Scaling (TTS) is an important method for improving the performance of Large Language Models (LLMs) by using additional computation during the inference phase. However, current studies do not systematically analyze how policy models, Process Reward Models (PRMs), and problem difficulty influence TTS. This lack of analysis limits the understanding and practical use of TTS methods. In this paper, we focus on two core questions: (1) What is the optimal approach to scale test-time computation across different policy models, PRMs, and problem difficulty levels? (2) To what extent can extended computation improve the performance of LLMs on complex tasks, and can smaller language models outperform larger ones through this approach? Through comprehensive experiments on MATH-500 and challenging AIME24 tasks, we have the following observations: (1) The compute-optimal TTS strategy is highly dependent on the choice of policy model, PRM, and problem difficulty. (2) With our compute-optimal TTS strategy, extremely small policy models can outperform larger models. For example, a 1B LLM can exceed a 405B LLM on MATH-500. Moreover, on both MATH-500 and AIME24, a 0.5B LLM outperforms GPT-4o, a 3B LLM surpasses a 405B LLM, and a 7B LLM beats o1 and DeepSeek-R1, while with higher inference efficiency. These findings show the significance of adapting TTS strategies to the specific characteristics of each task and model and indicate that TTS is a promising approach for enhancing the reasoning abilities of LLMs.
Abstract（参考訳）: テスト時間スケーリング(TTS)は、推論フェーズ中に追加計算を使用することで、大規模言語モデル(LLM)の性能を向上させる重要な手法である。しかし、現在の研究では、政策モデル、プロセス・リワード・モデル(PRM)、問題困難がTSに与える影響を体系的に分析していない。この分析の欠如により、TS法の理解と実用化が制限される。本稿では,(1)異なるポリシーモデル, PRM, 問題難易度にまたがってテスト時間計算をスケールするための最適なアプローチは何か,という2つの質問に焦点をあてる。 2) 複雑なタスクにおけるLLMの性能をどの程度向上させることができるのか。 MATH-500とAIME24タスクの総合的な実験を通じて,(1)計算最適TS戦略は,政策モデルの選択,PRM,問題の難易度に大きく依存する。 2) 計算最適TS戦略では, 極めて小さなポリシーモデルの方が, より大きなモデルより優れている。例えば、1B LLM は MATH-500 上で 405B LLM を超えることができる。さらに、MATH-500およびAIME24では、0.5B LLMがGPT-4oより優れ、3B LLMが405B LLMを超え、7B LLMがo1及びDeepSeek-R1を上回り、推論効率が高い。これらの結果は,各タスクやモデルの特徴にTS戦略を適用することの重要性を示し,RTSがLCMの推論能力を高めるための有望なアプローチであることを示す。

関連論文リスト

A Comprehensive Evaluation of Quantized Instruction-Tuned Large Language Models: An Experimental Analysis up to 405B [11.832907585157638]
本稿では、7Bから405Bのモデルにおける命令調整型LLMの性能を評価する。我々は6つのタスクタイプ(常識Q&A、知識と言語理解、指示追従、幻覚検出、数学、対話)のパフォーマンスを評価する。
論文参考訳（メタデータ） (2024-09-17T10:31:37Z)
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters [27.656263126925815]
LLMにおける推論時間計算のスケーリングについて検討する。どちらの場合も、テスト時間計算のスケーリングに対する異なるアプローチの有効性は、プロンプトの難しさによって大きく異なることがわかった。
論文参考訳（メタデータ） (2024-08-06T17:35:05Z)
Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
論文参考訳（メタデータ） (2024-06-13T07:57:27Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
Online Cascade Learning for Efficient Inference over Streams [9.516197133796437]
大規模言語モデル(LLM)は、データストリームに関する複雑なクエリに応答する自然な役割を持つ。この課題に対処する最初のアプローチであるオンラインカスケード学習を提案する。我々は,オンラインでカスケードを学習するタスクを模倣学習問題として定式化する。
論文参考訳（メタデータ） (2024-02-07T01:46:50Z)
TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文参考訳（メタデータ） (2024-01-24T04:28:50Z)
Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文参考訳（メタデータ） (2023-07-31T13:26:03Z)
TART: A plug-and-play Transformer module for task-agnostic reasoning [38.84903599406189]
大規模言語モデル(LLM)は、同じモデルがタスク固有のトレーニングを使わずに複数のタスクを実行できる、コンテキスト内学習能力を示す。微調整のような従来の適応アプローチは、特定のタスクごとに基礎となるモデルを変更する。合成学習したTransformerベースの推論モジュールを用いて,LLMの推論能力を汎用的に向上するTARTを提案する。
論文参考訳（メタデータ） (2023-06-13T04:37:00Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。