論文の概要: DISC: DISC: Dynamic Decomposition Improves LLM Inference Scaling

• arxiv url: http://arxiv.org/abs/2502.16706v2
• Date: Fri, 06 Jun 2025 22:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:09.929584
• Title: DISC: DISC: Dynamic Decomposition Improves LLM Inference Scaling
• Title（参考訳）: DISC: DIC: LLM推論スケーリングを改善する動的分解
• Authors: Jonathan Light, Wei Cheng, Benjamin Riviere, Wu Yue, Masafumi Oyamada, Mengdi Wang, Yisong Yue, Santiago Paternain, Haifeng Chen,
• Abstract要約: 動的分解は、解を適応的に分解し、トレースを推論中に管理可能なステップに推論する手法である。 APPS、MATH、LiveCodeBenchといったベンチマークの実験では、動的な分解はトークンレベル、文レベル、シングルステップの分解のような固定された戦略よりも優れています。
• 参考スコア（独自算出の注目度）: 66.63177876471113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference scaling methods for large language models often work by breaking problems into steps or groups of tokens, then sampling and selecting the best next steps. However, these steps and their sizes are usually fixed or manually designed based on domain knowledge. We introduce dynamic decomposition, a method that adaptively and automatically breaks down solution and reasoning traces into manageable steps during inference. By allocating compute more effectively - especially by subdividing difficult steps and prioritizing their sampling - dynamic decomposition significantly boosts inference efficiency. Experiments on benchmarks like APPS, MATH, and LiveCodeBench show that dynamic decomposition outperforms fixed strategies such as token-level, sentence-level, and single-step decompositions, reducing the pass@10 error rate by 5.0%, 6.7%, and 10.5% respectively. These results show the promise of dynamic decomposition for improving a broad range of inference scaling techniques.
• Abstract（参考訳）: 大きな言語モデルの推論スケーリングメソッドは、多くの場合、問題をトークンのステップまたはグループに分割し、次に最良のステップをサンプリングし、選択することで機能します。 しかしながら、これらのステップとそのサイズは通常、ドメイン知識に基づいて固定または手動で設計される。 我々は動的分解(動的分解)を導入し、動的分解(動的分解)を適応的に自動的に解を分解し、トレースを推論中に管理可能なステップに分解する手法を提案する。 特に難しいステップの分割とサンプリングの優先順位付けによって、より効果的に計算を割り当てることによって、動的分解は推論効率を大幅に向上させる。 APPS、MATH、LiveCodeBenchなどのベンチマークの実験では、動的分解はトークンレベル、文レベル、シングルステップの分解といった固定された戦略よりも優れており、それぞれ5.0%、6.7%、および10.5%のエラーレートが削減されている。 これらの結果は、幅広い推論スケーリング技術を改善するための動的分解の可能性を示唆している。

関連論文リスト

• BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning [83.03531832811386]
  BoostStep はステップ整列 ICL の例を通して推論精度を向上させる方法である。 チェーン・オブ・シークレット(CoT)とツリー検索アルゴリズムをシームレスに統合する。 AIMEにおけるDeepSeek-R1-671Bのパフォーマンスを2.2%改善し、MATHデータセットからの単純な例のみを活用する。
  論文  参考訳（メタデータ） (2025-01-06T18:59:13Z)
• Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
  本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。 本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。 私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2024-10-15T06:17:59Z)
• Numerical Methods for Convex Multistage Stochastic Optimization [86.45244607927732]
  最適化プログラミング(SP)、最適制御(SOC)、決定プロセス(MDP)に焦点を当てる。 凸多段マルコフ問題の解決の最近の進歩は、動的プログラミング方程式のコスト対ゴー関数の切断面近似に基づいている。 切削平面型法は多段階問題を多段階的に扱えるが、状態(決定)変数は比較的少ない。
  論文  参考訳（メタデータ） (2023-03-28T01:30:40Z)
• Stochastic Gradient Methods with Preconditioned Updates [47.23741709751474]
  このような問題に対するアルゴリズムはいくつかあるが、既存の手法は、スケールが悪く、あるいは条件が悪ければ、しばしばうまく機能しない。 ここではハッチンソンの対角ヘッセン近似のアプローチに基づく前提条件を含む。 我々は滑らかさとPL条件が仮定されるときの収束性を証明する。
  論文  参考訳（メタデータ） (2022-06-01T07:38:08Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Bolstering Stochastic Gradient Descent with Model Building [0.0]
  勾配降下法とその変種は、優れた収束率を達成するためのコア最適化アルゴリズムを構成する。 本稿では,前方ステップモデル構築に基づく新しいアルゴリズムを用いて,線探索の代替手法を提案する。 提案アルゴリズムは、よく知られたテスト問題において、より高速な収束とより優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-11-13T06:54:36Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Learning to solve TV regularized problems with unrolled algorithms [18.241062505073234]
  トータル・バージョニング(Total Variation、TV)は、一方向定値信号を促進する一般的な正規化戦略である。 そこで我々は,2つのアプローチを開発し,そのメリットと限界を記述し,反復的な手順よりも実際に改善できる体制について議論する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:02Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)
• Complexity of Stochastic Dual Dynamic Programming [7.177693955272473]
  まず, 簡単な多段最適化問題の解法として, 基本的動的切削平面法が要求する反復数, すなわち複雑性を確立する。 次に、これらの基本的なツールを洗練し、決定論的および双対動的プログラミング手法の反復複雑性を確立する。
  論文  参考訳（メタデータ） (2019-12-16T20:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。