Fugu-MT 論文翻訳(概要): ATTUNE: Agentic Throughput Tuning for LLM Training

論文の概要: ATTUNE: Agentic Throughput Tuning for LLM Training

arxiv url: http://arxiv.org/abs/2610.17528v2
Date: Thu, 22 Oct 2026 17:55:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:43.9574
Title: ATTUNE: Agentic Throughput Tuning for LLM Training
Title（参考訳）: ATTUNE: LLMトレーニングのためのエージェントスループットチューニング
Abstract要約: ATTUNEは、GPU時間予算内で調整されていないすべての作業レシピをチューニングするコーディングエージェントである。 H100、H200、B200クラスタ上でのAmazonのトレーニング後のレシピをチューニングし、スループットを平均1.7倍向上させる。 NVIDIAのAutoModelフレームワーク上で、NVIDIA独自のベンチマークレシピの4つが発行されたスループットを6-17%上回っている。
参考スコア（独自算出の注目度）: 17.35412391432098
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The throughput of an LLM training job depends on its recipe: how the model is split across GPUs, how memory is traded for compute, and which kernels and communication overlaps it uses. The best recipe changes with every model, accelerator and framework version. Automated tuners search a fixed space of knobs and check only that a job runs, so they miss levers outside that space and can ship a configuration that silently changes training. ATTUNE is a coding agent that tunes any working recipe unattended within a GPU-hour budget. Guided by a skill of search rules, scripts and lessons from past tuning campaigns, it diagnoses each run and changes one lever at a time. A correctness gate outside the agent refuses any argument known to change the training objective. ATTUNE tunes Amazon's production post-training recipes on H100, H200 and B200 clusters, raising throughput by 1.7x on average. It beats the published throughput of four of NVIDIA's own benchmark recipes on NVIDIA's AutoModel framework by 6-17%. On models held out from its development, it improves the strongest public recipes most where they were written for another setting, by up to 2.6x on MiniMax-M2, and least where the vendor tuned them for the same hardware. Given the same GPU-hour budget, it outperforms existing automated tuners, including Bayesian optimization, random search and OptiCo, a recent LLM-agent tuner. Its gain on GLM-4.5 is more than four times the best alternative's. The same coding agent without ATTUNE's skill gains less and fails half its launches. We release ATTUNE at https://github.com/amazon-science/attune and OpenRecipes, a leaderboard of tuned and verified training recipes, at https://openrecipes.ai.
Abstract（参考訳）: LLMトレーニングジョブのスループットは、モデルがGPU間でどのように分割されるか、メモリが計算のためにどのように交換されるか、どのカーネルと通信が重複するか、といったレシピに依存する。最高のレシピは、すべてのモデル、アクセラレータ、フレームワークのバージョンで変わります。自動チューナーは、固定されたノブのスペースを検索し、ジョブが動いていることのみをチェックするので、そのスペースの外のレバーを見逃し、静かにトレーニングを変更する構成を出荷することができる。 ATTUNEは、GPU時間予算内で調整されていないすべての作業レシピをチューニングするコーディングエージェントである。過去のチューニングキャンペーンから、検索ルール、スクリプト、レッスンのスキルによってガイドされ、各ランを診断し、一度に1つのレバーを変更する。エージェントの外の正当性ゲートは、トレーニング目標を変更することが知られている議論を拒絶する。 ATTUNEは、H100、H200、B200クラスタ上でAmazonのトレーニング後のレシピをチューニングし、平均して1.7倍のスループットを向上する。 NVIDIAのAutoModelフレームワーク上で、NVIDIA独自のベンチマークレシピの4つが発行されたスループットを6-17%上回っている。開発から切り離されたモデルでは、MiniMax-M2で最大2.6倍、最低でもベンダーが同じハードウェア用に調整することで、最も強力な公開レシピを改善した。同じGPU時間予算で、ベイジアン最適化、ランダム検索、最近のLLMエージェントチューナであるOptiCoなど、既存の自動チューナを上回ります。 GLM-4.5での利得は、最良の代替品の4倍以上である。 ATTUNEのスキルを持たない同じコーディングエージェントは向上し、ローンチの半分を失敗する。私たちはATTUNEをhttps://github.com/amazon-science/attuneとOpenRecipesでリリースしています。

関連論文リスト

MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code [18.86152071027907]
本稿では,あるカーネルドメイン固有言語の試行から抽出した経験が,同じ問題に対する新たな試みを改善するかどうかを測定するメタベンチを紹介する。 74の問題は6つのファミリーで融合されたサブグラフであり、それぞれがDSLでのみ異なるCuTe DSLとTIRxの変種である。それぞれのスキル試行と、一致した個別の予算の下で同じバリエーションを試行し、正確さとエンドツーエンドを評価します。
論文参考訳（メタデータ） (2026-10-04T07:15:21Z)
Optimizers for Diffusion Models: A Controlled Benchmark [75.49404880689772]
4つの拡散定式化にまたがる制御されたベンチマークを示す。全ての勝者は3つの種で全予算で再訓練される。 Muon、MARS-M、SOAPはそれぞれ、少なくとも1つの拡散定式化で調整されたAdamWを破った。
論文参考訳（メタデータ） (2026-09-19T14:41:28Z)
Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文参考訳（メタデータ） (2026-09-02T10:30:05Z)
LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training [28.882595607766916]
限られたハードウェア上での大規模言語モデルのトレーニングは、ますますスケジューリングの問題になっている。本稿では,レイヤストリーミングエグゼキュータ上の最適化レイヤであるLazyTrainを提案する。
論文参考訳（メタデータ） (2026-08-12T11:04:06Z)
Agentic Autoresearch for CT Reconstruction [6.987253902215927]
5月低用量CT(ノイズリミット)と128ビュースパースビュー乳房タスクで26の手法をベンチマークした。訓練された乳房モデルはすべて、再訓練せずにノイズ入力で再検査され、一致した雑音で別々に再訓練された。ベンチマークは1つの勝者ではなく、統計的に区別できないトップメソッドの層を提供する。
論文参考訳（メタデータ） (2026-07-24T18:03:21Z)
AutoMegaKernel: A Statically-Checked Agent Harness for Self-Retargeting Megakernel Synthesis [0.0]
AutoMegaresearchKernel (AMK)はHuggingFace Llamaファミリーモデルを単一の永続的なカーネルにコンパイルし、1回の起動で全前方パスを実行する。 AMKは、高帯域のトレーニングクラスであるA100/H100でcuBLASをパスし、ハーネスがクロスSM同期ボトルネックをローカライズする。これはデコード位置0における精度非対称(W8A16とbf16)の比較であり、最大の実チェックポイントはTinyLlama-1.1Bである。
論文参考訳（メタデータ） (2026-06-08T16:02:03Z)
Speedrunning Tabular Foundation Model Pretraining [80.20375439555964]
我々はNanoTabPFNのコミュニティスピードランを紹介する。コントリビュータは、単一ファイルのトレーニングスクリプトを変更し、固定下流のLOC AUCターゲットに到達するために競合する。現在の最高記録は0.92分で目標に到達し、74.32分ベースラインの81倍のスピードアップを記録した。
論文参考訳（メタデータ） (2026-06-02T14:04:31Z)
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
論文参考訳（メタデータ） (2024-03-06T07:29:57Z)
QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。