論文の概要: Betty: An Automatic Differentiation Library for Multilevel Optimization
- arxiv url: http://arxiv.org/abs/2207.02849v1
- Date: Tue, 5 Jul 2022 14:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 13:32:38.031152
- Title: Betty: An Automatic Differentiation Library for Multilevel Optimization
- Title（参考訳）: Betty: マルチレベル最適化のための自動微分ライブラリ
- Authors: Sang Keun Choe, Willie Neiswanger, Pengtao Xie, Eric Xing
- Abstract要約: Bettyは勾配ベースのマルチレベル最適化のための高レベルソフトウェアライブラリである。
データフローグラフとして多レベル最適化の新たな解釈に基づく自動微分法を開発した。
我々は、Bettyがマルチレベル最適化プログラムの配列のハイレベルなプログラミングインタフェースとして利用できることを実証的に実証した。
- 参考スコア（独自算出の注目度）: 24.256787655657277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilevel optimization has been widely adopted as a mathematical foundation
for a myriad of machine learning problems, such as hyperparameter optimization,
meta-learning, and reinforcement learning, to name a few. Nonetheless,
implementing multilevel optimization programs oftentimes requires expertise in
both mathematics and programming, stunting research in this field. We take an
initial step towards closing this gap by introducing Betty, a high-level
software library for gradient-based multilevel optimization. To this end, we
develop an automatic differentiation procedure based on a novel interpretation
of multilevel optimization as a dataflow graph. We further abstract the main
components of multilevel optimization as Python classes, to enable easy,
modular, and maintainable programming. We empirically demonstrate that Betty
can be used as a high-level programming interface for an array of multilevel
optimization programs, while also observing up to 11\% increase in test
accuracy, 14\% decrease in GPU memory usage, and 20\% decrease in wall time
over existing implementations on multiple benchmarks. The code is available at
http://github.com/leopard-ai/betty .
- Abstract（参考訳）: マルチレベル最適化は、ハイパーパラメータ最適化、メタラーニング、強化学習など、多数の機械学習問題の数学的基礎として広く採用されている。
それでも、多レベル最適化プログラムの実装には、数学とプログラミングの両方の専門知識が必要である。
勾配に基づくマルチレベル最適化のためのハイレベルなソフトウェアライブラリであるbettyを導入することで、このギャップを埋めるための最初の一歩を踏み出します。
そこで本研究では,データフローグラフとしてのマルチレベル最適化の新しい解釈に基づく自動微分手法を開発した。
さらに、Pythonクラスとしてマルチレベル最適化の主要なコンポーネントを抽象化して、簡単でモジュール化され、メンテナンス可能なプログラミングを可能にします。
我々は,マルチレベル最適化プログラム群のための高レベルプログラミングインタフェースとしてベティを活用できることを示すとともに,テスト精度が最大11\%向上し,gpuメモリ使用率が14\%低下し,複数のベンチマークで既存の実装よりも20\%削減されていることを実証した。
コードはhttp://github.com/leopard-ai/bettyで入手できる。
関連論文リスト
- Memory-Efficient Gradient Unrolling for Large-Scale Bi-level Optimization [71.35604981129838]
従来の勾配に基づく二段階最適化アルゴリズムは、大規模アプリケーションの要求を満たすには不適である。
両レベル最適化のためのメタ勾配の偏りのない近似を実現するための$(textFG)2textU$を導入する。
$(textFG)2textU$は本質的に並列コンピューティングをサポートするように設計されており、大規模分散コンピューティングシステムを効果的に活用することができる。
論文 参考訳（メタデータ） (2024-06-20T08:21:52Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳（メタデータ） (2024-05-30T06:24:14Z) - LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。
本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。
我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2024-04-02T20:23:10Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - Implicit Bilevel Optimization: Differentiating through Bilevel
Optimization Programming [7.310043452300735]
双レベル最適化プログラミングは、エージェント間の複雑な相互作用と矛盾する相互作用をモデル化するために使用される。
BiGradは、連続および双レベル最適化の問題に適用できる。
実験によると、BiGradは既存のシングルレベルアプローチをバイレベルプログラミングに拡張することに成功している。
論文 参考訳（メタデータ） (2023-02-28T10:32:17Z) - Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。
まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。
提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文 参考訳（メタデータ） (2023-02-15T18:59:21Z) - Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。
最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。
ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
論文 参考訳（メタデータ） (2020-06-18T08:16:25Z) - Soft Gradient Boosting Machine [72.54062017726154]
複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。
実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
論文 参考訳（メタデータ） (2020-06-07T06:43:23Z) - pymoo: Multi-objective Optimization in Python [7.8140593450932965]
我々はPythonの多目的最適化フレームワークpymooを開発した。
我々は、模範的な制約付き多目的最適化シナリオの実装を実証することにより、フレームワークを始めるためのガイドを提供する。
フレームワークの実装はカスタマイズ可能であり、アルゴリズムはカスタム演算子の提供によって変更・拡張できる。
論文 参考訳（メタデータ） (2020-01-22T16:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。