論文の概要: ATEST: Adaptive Resource-Aware Test-Time Scaling for LLM Inference

• arxiv url: http://arxiv.org/abs/2610.25519v1
• Date: Sun, 18 Oct 2026 20:23:11 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:45:38.454284
• Title: ATEST: Adaptive Resource-Aware Test-Time Scaling for LLM Inference
• Title（参考訳）: ATEST: LLM推論のためのアダプティブリソース対応テストタイムスケーリング
• Abstract要約: テストタイムスケーリング(TTS)は、複数の回答をサンプリングすることで、大きな言語モデル(LLM)推論を改善する。 GPU負荷の増加に伴い,同じ4サンプルクエリに対して,最大4.1倍のエネルギー増加を計測する。 我々は、追加サンプルの期待値と現在のGPUコストを共同で検討する、リソースを意識したTSフレームワークATESTを紹介する。
• 参考スコア（独自算出の注目度）: 8.794670104526867
• License:
• Abstract: Test-time scaling (TTS) improves large language model (LLM) reasoning by sampling multiple answers, but fixed sampling budgets ignore both query difficulty and the changing energy cost of inference under GPU contention. We measure up to a 4.1-fold increase in energy for the same four-sample query as GPU load rises. We present ATEST, a resource-aware TTS framework that jointly considers the expected value of additional samples and their current GPU cost. ATEST-Online, its default mode, requires no offline calibration: it incrementally generates samples, estimates the stability of the plurality answer, monitors live GPU conditions, and learns step energy cost online to decide when to stop. ATEST-Calibrated instead selects a per-query budget using offline accuracy and cost models, favoring deployments with stable loads. We evaluate both modes on four reasoning and question-answering datasets using Phi-3-mini on an NVIDIA A100 under controlled varying load, and test transfer to an NVIDIA L40S and Qwen2.5-3B. Across the four A100 datasets, ATEST-Online answers every query without exceeding the energy budget, while achieving the highest or statistically tied accuracy and reducing sampling as load increases. On GSM8K at high load, it achieves 60.0% accuracy with no deferrals, versus 44.0% accuracy and 42.4% deferrals for ATEST-Calibrated. Ablations show that online cost learning drives adaptation to load. Including offline profiling, ATEST-Online uses 42 times less GPU time and 48 times less energy than ATEST-Calibrated for the evaluated workload. Online control trades higher tail latency and lower throughput on short tasks for robustness under varying load; offline calibration remains competitive under stable conditions.
• Abstract（参考訳）: テスト時間スケーリング(TTS)は、複数の回答をサンプリングすることで、大言語モデル(LLM)推論を改善するが、固定されたサンプリング予算は、クエリの困難さとGPU競合下での推論のエネルギーコストの変化の両方を無視する。 GPU負荷の増加に伴い,同じ4サンプルクエリに対して,最大4.1倍のエネルギー増加を計測する。 我々は、追加サンプルの期待値と現在のGPUコストを共同で検討する、リソースを意識したTSフレームワークATESTを紹介する。 サンプルをインクリメンタルに生成し、複数の回答の安定性を推定し、ライブGPU条件を監視し、オンラインでステップエネルギーコストを学習し、いつ停止するかを決定する。 ATEST-Calibratedは、オフラインの精度とコストモデルを使用して、クエリ毎の予算を選択する。 NVIDIA A100上でのPhi-3-miniを用いた4つの推論および質問応答データセットについて,制御負荷の異なる場合と,NVIDIA L40SおよびQwen2.5-3Bへのテスト転送について検討した。 4つのA100データセット全体で、ATEST-Onlineはエネルギー予算を超えることなく全てのクエリに答えると同時に、最高または統計的に結びついた精度を達成し、負荷の増加に応じてサンプリングを削減している。 高負荷時の GSM8K では、60.0% の精度で遅延が無く、44.0% の精度でATEST-Calibrated の遅延が42.4% である。 オンラインのコスト学習は負荷への適応を促進する。 オフラインプロファイリングを含むATEST-Onlineは、評価されたワークロードに対するATEST-Calibratedの42倍のGPU時間と48倍のエネルギーを使用する。 オフラインのキャリブレーションは、安定した条件下では競争力を維持している。

関連論文リスト

• AdaptLSTM: Efficient Adaptive Online Learning for Cloud Workload Forecasting under Distribution Drift [0.0]
  AdaptLSTMは、バリデーション校正しきい値によるドリフトを検出し、選択的にターゲットとする更新を適用する適応型オンラインフレームワークである。 Alibaba Machine Traceでは、AdaptLSTMがNaive Onlineの改善の54%を20%のコストで回復している。 古典的なドリフト検出器とは異なり、AdaptLSTMは301歩以上42回発射し、整合した予算ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-10-08T16:31:56Z)
• When Does Online Adaptation Pay on the Edge? A Leakage-Free Evaluation of Warmup, Learning-Rate Selection, and Resource Trade-offs for Time-Series Forecasting [0.0]
  オンライン適応は、分布ドリフト下でのエッジ時系列予測に役立つが、その測定された利点は評価選択に敏感である。 本研究では,ビルセンサとスマートメーターデータを含む6つの公開多変量ストリームを,リークフリーストリーミングプロトコルの下で検討する。 6つのデータセットバックボーン設定で、推定適応の利点は1,000-20,000ステップの一般化範囲で3.0から18.8ポイント(pp)に変化する。
  論文  参考訳（メタデータ） (2026-09-01T12:04:08Z)
• TEMPO: Scaling Test-time Training for Large Reasoning Models [87.61789183311856]
  テストタイムトレーニング(TTT)は、推論時間中にラベルのないテストインスタンスにモデルパラメータを適用する。 TTTフレームワークであるTEMPOを提案する。これは、ラベル付きデータセット上で定期的な批評家の再検討を行い、ラベル付き質問に対するポリシー修正をインターリーブする。
  論文  参考訳（メタデータ） (2026-04-21T10:01:04Z)
• Online Reasoning Calibration: Test-Time Training Enables Generalizable Conformal LLM Reasoning [18.69627681731888]
  オンライン推論校正(英語: Online Reasoning calibration、ORCA)は、整合予測とテストタイムトレーニングに基づいてサンプリングプロセスを校正するフレームワークである。 リスクレベルの$=0.1$で、ORCAはQwen2.5-32B効率を改善し、47.5%、監督ラベル40.7%、自己整合ラベル40.7%を節約する。
  論文  参考訳（メタデータ） (2026-04-01T17:21:50Z)
• ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
  ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。 我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-02-27T05:22:01Z)
• Echo State Networks for Time Series Forecasting: Hyperparameter Sweep and Benchmarking [51.56484100374058]
  我々は、完全に自動で純粋にフィードバック駆動のESNが、広く使われている統計的予測手法の代替となるかどうかを評価する。 予測精度は、MASEとsMAPEを用いて測定され、ドリフトや季節予測、統計モデルといった単純なベンチマークと比較される。
  論文  参考訳（メタデータ） (2026-02-03T16:01:22Z)
• A Lightweight DL Model for Smart Grid Power Forecasting with Feature and Resolution Mismatch [0.4999814847776097]
  本稿では、実世界の高周波データを用いて、日々の電力需要を予測することを課題とする。 我々は、時間単位のダウンサイズ化、二重モードのインパルス化、包括正規化を組み合わせた頑健で軽量なディープラーニングパイプラインを提案する。 シーケンス・ツー・ワンのモデルでは、平均RMSEは601.9W、MAEは468.9W、精度は84.36%である。
  論文  参考訳（メタデータ） (2025-10-19T16:12:53Z)
• CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
  本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。 本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。 MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
  論文  参考訳（メタデータ） (2025-10-17T14:04:37Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。