Fugu-MT 論文翻訳(概要): ATTUNE: Agentic Throughput Tuning for LLM Training

論文の概要: ATTUNE: Agentic Throughput Tuning for LLM Training

arxiv url: http://arxiv.org/abs/2610.17528v1
Date: Tue, 13 Oct 2026 00:49:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-17 18:31:29.553254
Title: ATTUNE: Agentic Throughput Tuning for LLM Training
Title（参考訳）: ATTUNE: LLMトレーニングのためのエージェントスループットチューニング
Abstract要約: ATTUNEは、ユーザが設定したGPU時間内に、手動でワークロードとスタックの動作レシピを調整します。それぞれのランを診断し、1回に1回のレバーを変更し、過去のキャンペーンからの教訓のカタログによってガイドされる。レシピは、客観的に変化する設定と既知のスタック欠陥に対する設定チェックという、正当性ゲートを通過する場合にのみ配信される。
参考スコア（独自算出の注目度）: 16.649506712719518
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training recipes are tuned by hand for one model, cluster and workload, and every new model, accelerator, framework version or dataset means tuning again. Automated tuners search a fixed space of knobs and check only that a job runs, yet a configuration can run to completion while it silently changes training. ATTUNE is a single coding agent that tunes any working recipe for the workload and stack at hand, unattended, within a GPU-hour budget the user sets. It diagnoses each run and changes one lever at a time, guided by a catalog of lessons from past campaigns, and ships a recipe only if it passes a correctness gate: a configuration check against objective-changing settings and known stack defects, and a convergence check of its loss curve against the baseline's. On four held-out models at 64-128 GPUs, ATTUNE raises mean throughput over the strongest public recipe run on our stack by 6.7% on Llama-3.1-405B (best campaign 11.9%) and 33.9% on GLM-4.5 (54.7%), whose public recipe was written for H100. It keeps Mixtral-8x22B's recipe, where nothing it finds clears the noise band. Under a common GPU-hour budget it beats OptiCo, Bayesian optimization and random search on GLM-4.5 and MiniMax-M2; on GLM-4.5 its mean gain is more than four times the best alternative's at less than half the GPU-hours, and on both models its tuning pays for itself within a day of training. The gate rejects no legitimate run and catches 16 of 24 faulty runs, missing only ones that barely move the 20-step loss. Ablations tie its best campaigns to one of its search rules: retrying an out-of-memory layout with recomputation. We release ATTUNE's code and TrainingThroughputBench, a leaderboard of the fastest known recipes for MoE models up to 744B parameters on up to 256 GPUs, each with its throughput, cost per million tokens and a passed correctness check, at https://github.com/amazon-science/attune.
Abstract（参考訳）: トレーニングレシピは、1つのモデル、クラスタ、ワークロードに対して手動でチューニングされる。自動チューナーは、クノブの固定されたスペースを検索し、ジョブが実行されていることのみをチェックする。 ATTUNEは単一のコーディングエージェントで、ユーザが設定したGPU時間内に、手動でワークロードとスタックの動作レシピをチューニングする。それぞれのランを診断し、一度に1つのレバーを変更し、過去のキャンペーンからの教訓のカタログでガイドされ、正当性ゲートを通過する場合にのみレシピを出荷する。 64-128 GPUの4つの保留モデルにおいて、ATTUNEはLlama-3.1-405B(ベストキャンペーン11.9%)で6.7%、GLM-4.5(54.7%)で33.9%、H100向けに書かれた公開レシピで最強の公開レシピよりも平均スループットを向上した。 Mixtral-8x22Bのレシピを保存し、ノイズバンドをクリアするものは何も見つからない。一般的なGPU時間予算の下では、OptiCo、ベイジアン最適化、GLM-4.5とMiniMax-M2のランダム検索に勝っている。ゲートは正常走を拒否し、故障した24回のうち16回をキャッチするが、20回失ったのはわずかに1回だけである。アブレーションは、最良のキャンペーンを検索ルールの1つに結びつけている。我々はATTUNEのコードとトレーニングThroughputBenchをリリースした。これは、最大256GPU上で、最大744Bのパラメータを持つMoEモデルの最も高速なレシピのリーダーボードで、それぞれスループット、100万トークンのコスト、通過した正当性チェックをhttps://github.com/amazon-science/attune.comでリリースしている。

関連論文リスト

MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code [18.86152071027907]
本稿では,あるカーネルドメイン固有言語の試行から抽出した経験が,同じ問題に対する新たな試みを改善するかどうかを測定するメタベンチを紹介する。 74の問題は6つのファミリーで融合されたサブグラフであり、それぞれがDSLでのみ異なるCuTe DSLとTIRxの変種である。それぞれのスキル試行と、一致した個別の予算の下で同じバリエーションを試行し、正確さとエンドツーエンドを評価します。
論文参考訳（メタデータ） (2026-10-04T07:15:21Z)
Optimizers for Diffusion Models: A Controlled Benchmark [75.49404880689772]
4つの拡散定式化にまたがる制御されたベンチマークを示す。全ての勝者は3つの種で全予算で再訓練される。 Muon、MARS-M、SOAPはそれぞれ、少なくとも1つの拡散定式化で調整されたAdamWを破った。
論文参考訳（メタデータ） (2026-09-19T14:41:28Z)
Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文参考訳（メタデータ） (2026-09-02T10:30:05Z)
LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training [28.882595607766916]
限られたハードウェア上での大規模言語モデルのトレーニングは、ますますスケジューリングの問題になっている。本稿では,レイヤストリーミングエグゼキュータ上の最適化レイヤであるLazyTrainを提案する。
論文参考訳（メタデータ） (2026-08-12T11:04:06Z)
Agentic Autoresearch for CT Reconstruction [6.987253902215927]
5月低用量CT(ノイズリミット)と128ビュースパースビュー乳房タスクで26の手法をベンチマークした。訓練された乳房モデルはすべて、再訓練せずにノイズ入力で再検査され、一致した雑音で別々に再訓練された。ベンチマークは1つの勝者ではなく、統計的に区別できないトップメソッドの層を提供する。
論文参考訳（メタデータ） (2026-07-24T18:03:21Z)
AutoMegaKernel: A Statically-Checked Agent Harness for Self-Retargeting Megakernel Synthesis [0.0]
AutoMegaresearchKernel (AMK)はHuggingFace Llamaファミリーモデルを単一の永続的なカーネルにコンパイルし、1回の起動で全前方パスを実行する。 AMKは、高帯域のトレーニングクラスであるA100/H100でcuBLASをパスし、ハーネスがクロスSM同期ボトルネックをローカライズする。これはデコード位置0における精度非対称(W8A16とbf16)の比較であり、最大の実チェックポイントはTinyLlama-1.1Bである。
論文参考訳（メタデータ） (2026-06-08T16:02:03Z)
Speedrunning Tabular Foundation Model Pretraining [80.20375439555964]
我々はNanoTabPFNのコミュニティスピードランを紹介する。コントリビュータは、単一ファイルのトレーニングスクリプトを変更し、固定下流のLOC AUCターゲットに到達するために競合する。現在の最高記録は0.92分で目標に到達し、74.32分ベースラインの81倍のスピードアップを記録した。
論文参考訳（メタデータ） (2026-06-02T14:04:31Z)
GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
論文参考訳（メタデータ） (2024-03-06T07:29:57Z)
QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
論文参考訳（メタデータ） (2023-05-23T17:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。