論文の概要: Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization

• arxiv url: http://arxiv.org/abs/2006.14233v1
• Date: Thu, 25 Jun 2020 08:04:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:03:55.239387
• Title: Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization
• Title（参考訳）: 拡張ガウス過程とマルチ情報ソース最適化によるグリーン機械学習
• Authors: Antonio Candelieri, Riccardo Perego, Francesco Archetti
• Abstract要約: 計算時間と消費エネルギーを大幅に削減するための戦略は、異なる情報ソースの可用性を活用することである。 複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。 Augmented Gaussian Process に従って新しい取得関数が定義される。
• 参考スコア（独自算出の注目度）: 0.19116784879310028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Searching for accurate Machine and Deep Learning models is a computationally expensive and awfully energivorous process. A strategy which has been gaining recently importance to drastically reduce computational time and energy consumed is to exploit the availability of different information sources, with different computational costs and different "fidelity", typically smaller portions of a large dataset. The multi-source optimization strategy fits into the scheme of Gaussian Process based Bayesian Optimization. An Augmented Gaussian Process method exploiting multiple information sources (namely, AGP-MISO) is proposed. The Augmented Gaussian Process is trained using only "reliable" information among available sources. A novel acquisition function is defined according to the Augmented Gaussian Process. Computational results are reported related to the optimization of the hyperparameters of a Support Vector Machine (SVM) classifier using two sources: a large dataset - the most expensive one - and a smaller portion of it. A comparison with a traditional Bayesian Optimization approach to optimize the hyperparameters of the SVM classifier on the large dataset only is reported.
• Abstract（参考訳）: 正確な機械学習モデルとディープラーニングモデルの検索は、計算コストが高く、非常に精力的なプロセスです。 計算時間と消費エネルギーを大幅に削減するために近年重要になっている戦略は、異なる計算コストと大きなデータセットのより小さな部分の「忠実さ」の異なる異なる情報ソースの可用性を活用することである。 マルチソース最適化戦略はガウス過程に基づくベイズ最適化のスキームに適合する。 複数の情報ソース(すなわち AGP-MISO)を利用する拡張ガウス過程法を提案する。 Augmented Gaussian Processは利用可能なソースの"信頼性"情報のみを使用してトレーニングされている。 Augmented Gaussian Process に従って新しい取得関数が定義される。 計算結果は,SVM(Support Vector Machine)分類器のハイパーパラメータの最適化に関連して報告されている。 大規模データセットのみ上のSVM分類器のハイパーパラメータを最適化するベイズ最適化手法との比較を報告する。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Optimizing the Optimal Weighted Average: Efficient Distributed Sparse Classification [50.406127962933915]
  ACOWAは、小さなランタイムの増加とともに、顕著に優れた近似品質を達成するための追加の通信を可能にする。 その結果、ACOWAは経験的リスク最小化に忠実で、他の分散アルゴリズムよりもかなり高い精度で解が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T19:43:06Z)
• Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel [22.23550794664218]
  本稿では,新しいGP線形多重カーネル(LMK)と汎用空間認識型分散学習フレームワークを提案する。 このフレームワークには、複数のエージェント間の協調学習のための乗算器の量子化交互方向法(ADMM)が組み込まれている。 多様なデータセットを用いた実験により,提案手法の予測性能と効率性が向上した。
  論文  参考訳（メタデータ） (2023-09-15T07:05:33Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization [0.19116784879310028]
  FanG-HPOは、大規模なデータセット(別名情報ソース)のサブセットを使用して、精度と公正性の双方の安価な近似を得る。 実験では、2つのベンチマーク(フェアネス)データセットと2つの機械学習アルゴリズムが検討されている。
  論文  参考訳（メタデータ） (2022-05-18T10:07:21Z)
• Hyperparameter optimization of data-driven AI models on HPC systems [0.0]
  この作業は、AIとHPCのクロスメソッドを活用するデータ駆動型ユースケースに関するRAISEの取り組みの一環だ。 高エネルギー物理におけるマシンラーニング粒子再構成の場合,ASHAアルゴリズムとベイジアン最適化を組み合わせることで,解析されたアルゴリズムから得られた計算資源あたりの性能が最大になることがわかった。
  論文  参考訳（メタデータ） (2022-03-02T14:02:59Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。