論文の概要: LLM-e Guess: Can LLMs Capabilities Advance Without Hardware Progress?

• arxiv url: http://arxiv.org/abs/2505.04075v1
• Date: Wed, 07 May 2025 02:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.955914
• Title: LLM-e Guess: Can LLMs Capabilities Advance Without Hardware Progress?
• Title（参考訳）: LLM-e Guess: LLMの能力はハードウェアの進歩なしに向上できるか?
• Authors: Teddy Foley, Spencer Guo, Henry Josephson, Anqi Qu, Jack Sanderson,
• Abstract要約: 本稿では,大規模言語モデルがさらなる計算処理を伴わずに進化し続けるかどうかを考察する。 高性能ハードウェアへのアクセスを制限することに集中してきた規制の取り組みに動機付けられて、私たちは次のように質問した。 LLMは、計算に制約のある環境で前進できるか?
• 参考スコア（独自算出の注目度）: 10.461430685627857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper examines whether large language model (LLM) capabilities can continue to advance without additional compute by analyzing the development and role of algorithms used in state-of-the-art LLMs. Motivated by regulatory efforts that have largely focused on restricting access to high-performance hardware, we ask: Can LLMs progress in a compute-constrained environment, and how do algorithmic innovations perform under such conditions? To address these questions, we introduce a novel classification framework that distinguishes between compute-dependent innovations -- which yield disproportionate benefits at high compute levels (e.g., the Transformer architecture and mixture-of-experts models) and compute-independent innovations, which improve efficiency across all compute scales (e.g., rotary positional encoding, FlashAttention, or layer normalization). We quantify these contributions using a metric called compute-equivalent gain (CEG), which estimates the additional compute that would be required to achieve similar improvements without these algorithmic advancements. To validate this framework, we conduct small-scale training experiments with a scaled-down GPT-2 model. Our results confirm that compute-independent advancements yield meaningful performance gains even in resource-constrained settings, with a CEG of up to $3.5\times$ over a baseline model. By contrast, compute-dependent advancements provided little benefit or even degraded performance at the small scale, reinforcing the importance of compute availability for certain algorithmic gains.
• Abstract（参考訳）: 本稿では,LLMにおけるアルゴリズムの開発と役割を解析することにより,大規模言語モデル(LLM)の能力がさらなる計算なしに向上し続けるかどうかを考察する。 ハイパフォーマンスハードウェアへのアクセスを制限することに集中してきた規制の取り組みに動機付けられて、私たちは次のように質問する。 LLMは計算制約のある環境で前進できるのか、アルゴリズムの革新はそのような条件下でどのように機能するのか? これらの問題に対処するため、我々は、高い計算レベルで不均等な利益をもたらす計算依存のイノベーション(例えば、トランスフォーマーアーキテクチャとエキスパートの混合モデル)と、すべての計算スケール(例えば、回転位置符号化、FlashAttention、レイヤ正規化)の効率を改善する計算非依存のイノベーションを区別する、新しい分類フレームワークを導入しました。 我々はこれらの貢献を、計算等価ゲイン(CEG)と呼ばれる指標を用いて定量化し、これらのアルゴリズムの進歩なしに同様の改善を達成するために必要となる計算を推定する。 この枠組みを検証するため,スケールダウン型 GPT-2 モデルを用いた小規模トレーニング実験を行った。 計算非依存の進歩は,資源制約された設定でも有意義な性能向上が得られ,CEGはベースラインモデルよりも最大3.5\times$であることを確認した。 これとは対照的に、計算依存の進歩は小さなスケールでの利益や性能の低下をほとんど与えず、特定のアルゴリズム的なゲインに対する計算可用性の重要性を補強した。

関連論文リスト

• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• LAPO: Internalizing Reasoning Efficiency via Length-Adaptive Policy Optimization [48.91511514636768]
  本稿では,外部制約から固有モデル能力へ推論長制御を変換するフレームワークであるLongth-Adaptive Policy Optimization (LAPO)を提案する。 LAPOは、2段階の強化学習プロセスを通じて適切な推論深度を理解することができる。 数学的推論ベンチマークの実験では、LAPOはトークンの使用量を最大40.9%削減し、精度は2.3%向上した。
  論文  参考訳（メタデータ） (2025-07-21T16:14:41Z)
• Reasoning on a Budget: A Survey of Adaptive and Controllable Test-Time Compute in LLMs [45.83245433138508]
  大規模言語モデル(LLM)は、幅広いタスクを解くことができる汎用エージェントへと急速に進歩してきた。 彼らは、タスクの複雑さに関わらず、固定推論時間計算を適用し、しばしば難しいことを考えながら単純な問題を過小評価する。 本調査では, LLM推論の計算効率向上を目的とした, 効率的なテスト時間計算戦略の総合的なレビューを行う。
  論文  参考訳（メタデータ） (2025-07-02T18:27:42Z)
• DynScaling: Efficient Verifier-free Inference Scaling via Dynamic and Integrated Sampling [20.605487145370752]
  推論時間スケーリングは、テスト時間計算の増大を通じて、大きな言語モデル(LLM)の性能向上に有効であることが証明されている。 しかし、実際的な応用は、外部検証への依存や、現実的な計算制約に対する最適化の欠如によってしばしば妨げられる。 我々はDynScalingを提案し、これらの制限を2つの主要なイノベーション、すなわち並列シーケンスサンプリング戦略と帯域幅に基づく動的予算配分フレームワークを通じて解決する。
  論文  参考訳（メタデータ） (2025-06-19T05:40:54Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Explore Activation Sparsity in Recurrent LLMs for Energy-Efficient Neuromorphic Computing [3.379854610429579]
  Recurrent Large Language Models (R-LLM) は自己注意の複雑さを軽減するのに有効であることが証明されている。 ニューロモルフィックハードウェア上でのエネルギー効率を高めるために,R-LLMの活性化をスパースする,低コストでトレーニング不要なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-09T19:13:03Z)
• Latenrgy: Model Agnostic Latency and Energy Consumption Prediction for Binary Classifiers [0.0]
  機械学習システムは、科学分野や産業のイノベーションをますます加速させる。 しかし、特に推論の間、計算オーバーヘッドにおける課題はスケーラビリティと持続可能性を制限する。 この研究は、主に遅延とエネルギー消費に関する一般化予測技術が欠如していることから、文学における重要なギャップに対処する。
  論文  参考訳（メタデータ） (2024-12-26T14:51:24Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
  強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。 本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
  論文  参考訳（メタデータ） (2024-10-23T14:22:49Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Quantum Data Encoding: A Comparative Analysis of Classical-to-Quantum Mapping Techniques and Their Impact on Machine Learning Accuracy [0.0]
  本研究では,古典的機械学習(ML)アルゴリズムへの量子データ埋め込み技術の統合について検討する。 その結果,量子データの埋め込みは,分類精度とF1スコアの向上に寄与することが判明した。
  論文  参考訳（メタデータ） (2023-11-17T08:00:08Z)
• AxOMaP: Designing FPGA-based Approximate Arithmetic Operators using Mathematical Programming [2.898055875927704]
  FPGAの近似演算子を合成するための,データ解析による数学的プログラミングに基づく手法を提案する。 具体的には、特徴量データの相関解析の結果に基づいて、混合整数の2次制約付きプログラムを定式化する。 従来の進化的アルゴリズムによる最適化と比較して,PPAとBEHAVの併用最適化において,ハイパーボリュームの最大21%の改善が報告されている。
  論文  参考訳（メタデータ） (2023-09-23T18:23:54Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。