論文の概要: Tensor Program Optimization with Probabilistic Programs
- arxiv url: http://arxiv.org/abs/2205.13603v1
- Date: Thu, 26 May 2022 20:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 14:52:24.368077
- Title: Tensor Program Optimization with Probabilistic Programs
- Title（参考訳）: 確率的プログラムを用いたテンソルプログラム最適化
- Authors: Junru Shao, Xiyou Zhou, Siyuan Feng, Bohan Hou, Ruihang Lai, Hongyi
Jin, Wuwei Lin, Masahiro Masuda, Cody Hao Yu, Tianqi Chen
- Abstract要約: 本稿では,テンソルプログラムのリッチな検索空間を構築するために,ドメイン固有の確率型プログラミング言語であるMetaScheduleを紹介する。
我々の抽象化により、ドメインの専門家はプログラムを分析し、プログラム変換を構成するモジュール化された方法で選択を簡単に提案できる。
また、与えられた検索空間に最適化されたプログラムを見つけるために、エンドツーエンドの学習駆動フレームワークを構築します。
- 参考スコア（独自算出の注目度）: 16.303739951257814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic optimization for tensor programs becomes increasingly important as
we deploy deep learning in various environments, and efficient optimization
relies on a rich search space and effective search. Most existing efforts adopt
a search space which lacks the ability to efficiently enable domain experts to
grow the search space. This paper introduces MetaSchedule, a domain-specific
probabilistic programming language abstraction to construct a rich search space
of tensor programs. Our abstraction allows domain experts to analyze the
program, and easily propose stochastic choices in a modular way to compose
program transformation accordingly. We also build an end-to-end learning-driven
framework to find an optimized program for a given search space. Experimental
results show that MetaSchedule can cover the search space used in the
state-of-the-art tensor program optimization frameworks in a modular way.
Additionally, it empowers domain experts to conveniently grow the search space
and modularly enhance the system, which brings 48% speedup on end-to-end deep
learning workloads.
- Abstract（参考訳）: テンソルプログラムの自動最適化は,様々な環境にディープラーニングを展開することによってますます重要になり,効率的な最適化は豊富な探索空間と効率的な探索に依存している。
既存の取り組みの多くは、ドメインの専門家が効率的に検索スペースを成長させる能力に欠ける検索スペースを採用しています。
本稿では,テンソルプログラムのリッチな検索空間を構築するために,ドメイン固有の確率型プログラミング言語であるMetaScheduleを紹介する。
この抽象化により、ドメインの専門家がプログラムを解析し、モジュール的な方法で確率的選択を提案してプログラム変換を作成できる。
また、特定の検索空間に最適化されたプログラムを見つけるために、エンドツーエンドの学習駆動フレームワークを構築します。
実験の結果,MetaScheduleは,最先端のテンソルプログラム最適化フレームワークで使用される検索空間をモジュール形式でカバーできることがわかった。
さらに、ドメインの専門家が検索スペースを便利に拡大し、システムをモジュール化することで、エンドツーエンドのディープラーニングワークロードの48%のスピードアップを実現する。
関連論文リスト
- Dynamic operator management in meta-heuristics using reinforcement learning: an application to permutation flowshop scheduling problems [0.3495246564946556]
本研究では,メタヒューリスティックスにおける探索演算子のポートフォリオを動的に管理する強化学習に基づくフレームワークを開発する。
動的に更新されたポートフォリオから最も適切な演算子を選択するために、Qラーニングに基づく適応演算子選択機構を用いる。
提案するフレームワークの性能は,置換フローホップスケジューリング問題への適用を通して解析する。
論文 参考訳（メタデータ） (2024-08-27T08:38:17Z) - Can LLMs Configure Software Tools [0.76146285961466]
ソフトウェア工学では、複雑なシステム内での最適なパフォーマンスを確保するためには、ソフトウェアツールの精巧な構成が不可欠である。
本研究では,Large-Language Models (LLMs) を利用したソフトウェア構成プロセスの合理化について検討する。
本研究は,Chat-GPTなどのLCMを用いて,開始条件を特定し,検索空間を狭め,構成効率を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-12-11T05:03:02Z) - Bayesian Program Learning by Decompiling Amortized Knowledge [50.960612835957875]
本稿では,ニューラルサーチポリシーを直接活用し,その記憶された知識を効果的に「分解」し,関連するプログラムコンポーネントを抽出する,新たな学習手法を提案する。
これにより、より強力な償却推論が実現され、探索幅を減らすために学習した償却知識も探索深度を減らすために使用されるようになった。
論文 参考訳（メタデータ） (2023-06-13T15:35:01Z) - Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。
基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。
我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文 参考訳（メタデータ） (2022-09-27T17:51:31Z) - CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。
私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。
我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
論文 参考訳（メタデータ） (2022-03-20T04:41:05Z) - Learning to Superoptimize Real-world Programs [79.4140991035247]
本稿では,ニューラルシークエンス・ツー・シーケンス・モデルを用いて,実世界のプログラムを最適化するフレームワークを提案する。
我々は、x86-64アセンブリでオープンソースプロジェクトから抽出された25万以上の実世界の関数からなるデータセットであるBig Assemblyベンチマークを紹介した。
論文 参考訳（メタデータ） (2021-09-28T05:33:21Z) - Learning Space Partitions for Path Planning [54.475949279050596]
PlaLaMは2次元ナビゲーションタスクにおける既存の経路計画手法よりも優れており、特に難解な局所最適化の存在下では優れている。
これらは高マルチモーダルな実世界のタスクに移行し、コンパイラフェーズでは最大245%、分子設計では最大0.4の強いベースラインを0-1スケールで上回ります。
論文 参考訳（メタデータ） (2021-06-19T18:06:11Z) - Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。
最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
論文 参考訳（メタデータ） (2021-06-18T15:08:47Z) - Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。
我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。
私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
論文 参考訳（メタデータ） (2020-07-23T16:07:39Z) - Learning Heuristic Selection with Dynamic Algorithm Configuration [44.91083687014879]
計画システムの動的選択力学に動的アルゴリズム構成を用いることができることを示す。
提案手法は,既存のアプローチよりも一般化し,ドメイン探索の性能を指数関数的に向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-15T09:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。