論文の概要: MuPACE: Learning to Pace Muon for LoRA Fine-Tuning

• arxiv url: http://arxiv.org/abs/2610.28072v1
• Date: Tue, 20 Oct 2026 11:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.795298
• Title: MuPACE: Learning to Pace Muon for LoRA Fine-Tuning
• Title（参考訳）: MuPACE: LoRAファインチューニングのためのMuonのペースを学ぶ
• Abstract要約: 微調整問題における学習率の選択を補正する。 MuPACEは小さなリカレントポリシーで、微調整された実行の分散でメタトレーニングされる。
• 参考スコア（独自算出の注目度）: 15.59929646151698
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learning rate schedules are typically fixed before training begins, yet when fine-tuning large language models with low-rank adapters (LoRA), the appropriate scale varies substantially with the model, task, and adapter configuration. Practitioners re-tune a schedule for every new problem, yet a tuned schedule still cannot react to the training dynamics it encounters. We instead amortize learning rate selection across LoRA fine-tuning problems. We leave the base optimizer, Muon, untouched, so that its normalized update fixes the direction, and meta-learn only the global step size. Our method MuPACE is a small recurrent policy, meta-trained across a distribution of fine-tuning runs, that conditions on the observed trajectory and emits bounded adjustments to an interpretable analytic schedule. On 64 fine-tuning problems, MuPACE outperforms standard fixed schedules at a strong shared default on 64-78% of problems and is on par with the same schedules with per-task tuned peaks. Meta-trained only on models with up to 16 layers, MuPACE transfers one-shot to unseen tasks on models as deep as 64 layers, such as Qwen3-32B and Qwen3.8-27B, where a single run remains competitive with swept schedules.
• Abstract（参考訳）: 学習率のスケジュールは通常、トレーニングが始まる前に固定されるが、ローランクアダプタ(LoRA)で微調整された大きな言語モデルの場合、適切なスケールはモデル、タスク、アダプタの設定によって大きく異なる。 実践者はすべての新しい問題のスケジュールを再調整するが、チューニングされたスケジュールは、遭遇するトレーニングのダイナミクスに反応することができない。 代わりに、LoRAの微調整問題における学習率の選択を減らします。 ベースオプティマイザであるMuonは、修正されていないため、正規化されたアップデートで方向が修正され、グローバルなステップサイズのみがメタ学習されます。 提案手法は,微調整動作の分布をメタトレーニングし,観測軌道上の条件を解釈可能な解析スケジュールに出力する,最小限のリカレントポリシである。 64の微調整問題において、MuPACEは64-78%の問題に対して、標準の固定スケジュールを強い共有デフォルトで上回り、タスクごとに調整されたピークと同じスケジュールと同等である。 最大16層のモデルでのみメタトレーニングされた MuPACE は、Qwen3-32B や Qwen3.8-27B のような64層のモデル上で、一発のタスクに一発のタスクを転送する。

関連論文リスト

• Self-Supervised Inertial Odometry [56.68873211346449]
  そこで本研究では,IMUを単体窓上で独立に統合した筋電図教師によって,慣性音韻モデルがゼロから訓練可能であることを示す。 そのため、新たなプラットフォームでのトレーニングでは、地上軌道の収集は必要なくなり、IMUの校正と通常の運用時のデータ記録のみが必要になった。 歩行者、ドローン、四足歩行、ヒューマノイドにまたがる6つのデータセットは、速度や位置のラベルのない同じレシピで、同じ構造を監督するベースラインの平均速度誤差0.07$m/s以内のモデルを訓練する。
  論文  参考訳（メタデータ） (2026-10-19T08:14:43Z)
• SOLAR: A State-Driven Online Learning Rate Scheduler for LLM Pretraining [6.154193124905528]
  SOLAR(State-driven Online Learning rAte scheduleR)は、信頼性の高いオンラインLR適応のための安定化されたフレームワークである。 個々のパラメータ群に対する有界状態依存残差補正を学習する。 軽量な状態表現と進捗対応報酬ガイドがオンライン学習をガイドし、Circuit-Breakerは稀な安全でないアクションの後にトレーニングを復元する。
  論文  参考訳（メタデータ） (2026-09-28T09:09:11Z)
• Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs [9.694856873255011]
  マルチタスクフルチューニングは、テストするすべてのモデルサイズにおいて、最も強力な運用上のデフォルトになります。 スペシャリストモデルはターゲットのタスクに強いが、しばしばタスクのオフタスクが急激に低下し、信頼性の高いルーティングが重要になる。 実世界の環境での微調整戦略を選択するための実践的ガイドラインで締めくくった。
  論文  参考訳（メタデータ） (2026-09-23T02:46:50Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• TopoTuner: Topological Finetuning of Large Language Models [36.513099592367496]
  TopoTunerは、注意投影行列の選択的凍結のためのトポロジー誘導微調整フレームワークである。 TopoTunerはソースデータセットから再利用可能な凍結プロファイルを学び、ドメイン外のデータセット上で効率的に微調整モデルに転送する。
  論文  参考訳（メタデータ） (2026-07-18T04:50:23Z)
• Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
  大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。 高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
  論文  参考訳（メタデータ） (2026-05-12T17:58:20Z)
• Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging [70.05077723711618]
  本研究では, 1-32xChinchillaスケールで学習した言語モデルが時間とともに減衰し, 問題の発生源とキャパシティ条件によって減衰速度が決定されることを示した。 以上の結果から,重み付き平均化と地平線なしのステップサイズを組み合わせることで,大規模言語モデルの事前学習におけるコサイン学習率のスケジュールに代わる実用的で効果的な選択肢が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-02-03T16:24:05Z)
• AdaRank: Disagreement Based Module Rank Prediction for Low-rank Adaptation [7.832189413179361]
  モデル不一致に基づく手法を開発し、与えられたモジュールのランクを他のモジュールと比較して予測する。 AdaRankは、同じ数のパラメータを持つ均一なランクを使用するよりも、目に見えないデータに対して顕著に優れている。
  論文  参考訳（メタデータ） (2024-08-16T20:48:41Z)
• Tuning Language Models by Proxy [110.49482736590907]
  直接チューニングと同じ目的を達成するために,ブラックボックスLM上で動作する軽量復号時間アルゴリズムであるプロキシチューニングを導入する。 提案手法は, 小型のLMをチューニングし, 小型のLMと未チューニングのLMの予測の差を適用して, より大型の未チューニングモデルの本来の予測をチューニング方向にシフトさせる。
  論文  参考訳（メタデータ） (2024-01-16T18:49:55Z)
• MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
  ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。 メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。 この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-30T09:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。