論文の概要: PyLO: Towards Accessible Learned Optimizers in PyTorch

• arxiv url: http://arxiv.org/abs/2506.10315v1
• Date: Thu, 12 Jun 2025 03:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.546265
• Title: PyLO: Towards Accessible Learned Optimizers in PyTorch
• Title（参考訳）: PyLO: PyTorchにおけるアクセシブル学習最適化に向けて
• Authors: Paul Janson, Benjamin Therien, Quentin Anthony, Xiaolong Huang, Abhinav Moudgil, Eugene Belilovsky,
• Abstract要約: 私たちはPyTorchベースのライブラリであるPyLOを紹介します。 私たちのリリースには、aMacceleratedバージョンのsmall_fclopt学習アーキテクチャ(aetz et al., 2022)が含まれています。
• 参考スコア（独自算出の注目度）: 14.373444176577287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned optimizers have been an active research topic over the past decade, with increasing progress toward practical, general-purpose optimizers that can serve as drop-in replacements for widely used methods like Adam. However, recent advances -- such as VeLO, which was meta-trained for 4000 TPU-months -- remain largely inaccessible to the broader community, in part due to their reliance on JAX and the absence of user-friendly packages for applying the optimizers after meta-training. To address this gap, we introduce PyLO, a PyTorch-based library that brings learned optimizers to the broader machine learning community through familiar, widely adopted workflows. Unlike prior work focused on synthetic or convex tasks, our emphasis is on applying learned optimization to real-world large-scale pre-training tasks. Our release includes a CUDA-accelerated version of the small_fc_lopt learned optimizer architecture from (Metz et al., 2022a), delivering substantial speedups -- from 39.36 to 205.59 samples/sec throughput for training ViT B/16 with batch size 32. PyLO also allows us to easily combine learned optimizers with existing optimization tools such as learning rate schedules and weight decay. When doing so, we find that learned optimizers can substantially benefit. Our code is available at https://github.com/Belilovsky-Lab/pylo
• Abstract（参考訳）: 学習されたオプティマイザは、Adamのような広く使われているメソッドのドロップイン代替として機能する実用的な汎用オプティマイザへの進歩とともに、過去10年間、活発な研究トピックとなっている。 しかし、4000 TPUでメタトレーニングされたVeLOのような最近の進歩は、JAXへの依存とメタトレーニング後にオプティマイザを適用するためのユーザフレンドリなパッケージがないこともあって、広くコミュニティにはほとんどアクセスできない。 このギャップに対処するため、私たちは、PyTorchベースのライブラリであるPyLOを紹介します。 合成タスクや凸タスクに重点を置く以前の作業とは異なり、我々は学習された最適化を現実世界の大規模事前学習タスクに適用することに重点を置いている。 私たちのリリースには、(Metz et al , 2022a)から学んだオプティマイザアーキテクチャのCUDAアクセラレーション版が含まれており、39.36から205.59サンプル/秒スループットで、バッチサイズ32のViT B/16をトレーニングしています。 PyLOはまた、学習率のスケジュールや体重減少といった既存の最適化ツールと学習した最適化ツールを簡単に組み合わせることができます。 そうすることで、学習したオプティマイザが大きな利益をもたらすことが分かりました。 私たちのコードはhttps://github.com/Belilovsky-Lab/pyloで利用可能です。

関連論文リスト

• Learning Versatile Optimizers on a Compute Diet [20.69804303768643]
  学習アーキテクチャやメタトレーニングの手順における重要な要素は、強力なメタ一般化につながる可能性がある。 そこで本稿では,評価課題のセットに基づいて,大規模システムの定量的性能を確実に評価するための評価指標を提案する。 提案手法であるCeloは,学習者のメタ一般化性能向上に大きく貢献する。
  論文  参考訳（メタデータ） (2025-01-22T06:10:27Z)
• $μ$LO: Compute-Efficient Meta-Generalization of Learned Optimizers [25.696858394747252]
  学習地平線(LO)は、ニューラルネットワークのウォールクロックトレーニング時間を著しく短縮することができる。 LOは、メタトレーニング中に見られるものよりも広いトレーニングネットワークにおいて、目に見えないタスク(メタ一般化)を最適化するのに苦労する。 我々は$mu$-パラメータ化LOに対する簡単なメタトレーニングレシピを提案する。
  論文  参考訳（メタデータ） (2024-05-31T19:28:47Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations [15.659251804042748]
  Woodpecker-DL (WPK) はハードウェア対応のディープラーニングフレームワークである。 WPKは、グラフ最適化、自動検索、ドメイン固有言語(DSL)、システムレベルの探索を使って推論を高速化する。 最大P100 GPUでは、cuDNNが5.40、TVMが1.63、エンドツーエンドモデル推論がTeslaRTより1.18倍高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。