論文の概要: End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference

• arxiv url: http://arxiv.org/abs/2606.27743v1
• Date: Fri, 26 Jun 2026 05:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.389567
• Title: End-to-End Dynamic Sparsity for Resource-Adaptive LLM Inference
• Title（参考訳）: 資源適応型LLM推論のためのエンド・ツー・エンド動的スパーシリティ
• Abstract要約: 大規模言語モデル(LLM)推論は通常、静的なリソース仮定の下でデプロイされる。 本稿では,リソース適応推論のためのエンドツーエンドフレームワークであるLearning to Allocate (L2A)を提案する。
• 参考スコア（独自算出の注目度）: 40.35003253838957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) inference is typically deployed under a static resource assumption, where models execute a fixed computational graph regardless of the runtime environment. However, real-world cloud infrastructure is inherently dynamic, characterized by fluctuating availability (e.g., spot instance preemption) and tiered Quality-of-Service requirements. In such volatile settings, static models are inflexible: they either crash under resource constraints or waste compute on redundant operations. To bridge this gap, we propose Learning to Allocate (L2A), an end-to-end framework for resource-adaptive inference. Unlike prior methods that condition only on input difficulty, we formulate inference as a constrained allocation problem conditioned on both the input and the runtime resource budget itself. We introduce lightweight, budget-conditioned and input-aware gating networks integrated into the LLM. These gates are trained via a unified objective that jointly optimizes task performance, logical consistency, and resource costs along three axes matching how real-world dynamics manifest: layer skipping for memory and depth pressure, head pruning for throughput contention, and reasoning-token reduction for latency tightening. This lets the model learn a budget-aware policy beyond input difficulty alone: it adaptively configures its computational footprint with respect to real-time resource dynamics, maximizing reasoning depth when resources permit while enforcing strict frugality when budgets tighten. A single L2A model traces the entire compute-accuracy Pareto frontier on Llama-3-8B and Qwen-3-4B: at up to 34% realized layer sparsity, it stays within 0.6% of the dense baseline on GSM8K, with the same gap holding zero-shot on out-of-distribution tasks, while every static or heuristic baseline requires a separately tuned model and still drops by 5-10% at comparable inference time.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論は通常、静的なリソース仮定の下で展開され、モデルが実行環境に関係なく固定された計算グラフを実行する。 しかし、現実世界のクラウドインフラストラクチャは本質的に動的で、可用性の変動(スポットインスタンスのプリエンプションなど)とサービス品質要件の結びつきが特徴です。 このような不安定な設定では、静的モデルは柔軟性がなく、リソース制約の下でクラッシュするか、冗長な操作で計算を無駄にする。 このギャップを埋めるために、リソース適応推論のためのエンドツーエンドフレームワークであるLearning to Allocate (L2A)を提案する。 入力難易度のみを条件とする従来の手法とは異なり、入力と実行リソースの予算自体に条件付けられた制約付き割当問題として推論を定式化する。 LLMに組み込まれた軽量で,予算に配慮した,入力対応のゲーティングネットワークを導入する。 これらのゲートは、メモリと深度圧力の層スキップ、スループット競合のヘッドプルーニング、レイテンシの強化のための推論-トーケン削減という3つの軸に沿って、タスクのパフォーマンス、論理的一貫性、リソースコストを共同で最適化する統一的な目的によってトレーニングされる。 このモデルでは、入力困難だけでなく、計算フットプリントをリアルタイムリソースのダイナミックスに対して適応的に設定し、予算の締め付け時に厳格な厳密さを保ちながらリソースが許可されたときの推論深度を最大化する。 1つのL2Aモデルは、Llama-3-8B と Qwen-3-4B 上の計算精度のフロンティア全体をトレースする: 最大で34% の層間隔を実現し、GSM8K 上の密度の高いベースラインの 0.6% 以内に留まる。

関連論文リスト

• Adaptive Error Budget Allocation for Fault-Tolerant Quantum Resource Estimation: A Metaheuristic Approach [0.14323566945483496]
  システムレベルのリソース推定は、フォールトトレラントな量子コンピューティングツールチェーンの重要なコンポーネントである。 そこで我々は,Azure Quantum Resource Estor上で,微分自由探索を直接行うトレーニングフリー最適化フレームワークを提案する。 MQTベンチの31ファミリーから2から91キュービットに及ぶ433個の回路上で,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-08-16T07:14:29Z)
• Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL [0.8546394944138487]
  我々は、テキストベースの世界モデリングを、初期状態に分解可能な遷移力学問題として定式化する。 我々は、9つのオープンソース環境と12のフロンティアモデルファミリーにまたがる239,403の基底状態行動軌跡をキュレートする。 我々は,決定論的状態チェックを備えたGRPOトレーニングフレームワークを導入し,3つのOOD環境上でゼロショット転送処理を行う。
  論文  参考訳（メタデータ） (2026-05-07T00:40:32Z)
• Budgeted LoRA: Distillation as Structured Compute Allocation for Efficient Inference [6.886536285117155]
  Budgeted LoRAは、モデル圧縮を構造化された計算割り当て問題として扱うフレームワークである。 Budgeted LoRA は標準の LoRA パープレキシティを1.74倍の圧縮加群高速化で適度な予算で一致していることを示す。 適度なパープレキシティ劣化を伴う4.05倍の高速化を実現し、関数型インコンテキスト学習プローブの精度を向上する。
  論文  参考訳（メタデータ） (2026-05-05T22:59:14Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Adaptive GPU Resource Allocation for Multi-Agent Collaborative Reasoning in Serverless Environments [0.3668877906130206]
  大規模言語モデルを用いたマルチエージェントシステムは、複雑な推論タスクを解くための有望なパラダイムとして登場してきた。 サーバレスGPUプラットフォームにこれらのシステムを効率的にデプロイすることは、リソース割り当てに重大な課題をもたらす。 本稿では,ラウンドロビンスケジューリングと比較して85%の遅延低減を実現する適応型GPUリソース割り当てフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-15T09:21:48Z)
• Bridging VLMs and Embodied Intelligence with Deliberate Practice Policy Optimization [72.20212909644017]
  Deliberate Practice Policy Optimization (DPPO) はメタ認知型メタループのトレーニングフレームワークである。 DPPOは教師付き微調整(能力拡張)と強化学習(技能向上)の交互に行う 実証的には、DPPO(Pelican-VL 1.0)で視覚言語を具現化したモデルをトレーニングすると、ベースモデルよりも20.3%パフォーマンスが向上する。 私たちはモデルとコードをオープンソースにして、データとリソースのボトルネックを軽減する最初の体系的なフレームワークを提供しています。
  論文  参考訳（メタデータ） (2025-11-20T17:58:04Z)
• A$^2$FM: An Adaptive Agent Foundation Model for Tool-Aware Hybrid Reasoning [40.6234318894435]
  大規模言語モデルは、推論中心のLLMとエージェントのLLMの2つのファミリーに分けられた。 この分割は、基本的に異なるトレーニング目標から生じ、単純なクエリに対して不一致の強度と非効率をもたらす。 本稿では,アダプティブ・エージェント・ファンデーション・モデル (A$2$FM) を提案する。
  論文  参考訳（メタデータ） (2025-10-13T17:08:25Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• Computational Economics in Large Language Models: Exploring Model Behavior and Incentive Design under Resource Constraints [1.00707850217229]
  大規模言語モデル(LLM)は計算コストによって制限される。 我々は, LLMを資源制約されたエージェントの内部経済として扱う「計算経済学」の枠組みを導入する。 計算が不十分な場合、標準LLMは精度を保ちながら高価値トークンに注意を向ける。
  論文  参考訳（メタデータ） (2025-08-14T07:55:45Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
  Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。 推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。 我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
  論文  参考訳（メタデータ） (2025-05-08T15:01:06Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。