論文の概要: On the Hyperparameter Landscapes of Machine Learning Algorithms
- arxiv url: http://arxiv.org/abs/2311.14014v1
- Date: Thu, 23 Nov 2023 14:11:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:29:34.710398
- Title: On the Hyperparameter Landscapes of Machine Learning Algorithms
- Title(参考訳): 機械学習アルゴリズムのハイパーパラメータ景観について
- Authors: Mingyu Huang, Ke Li
- Abstract要約: 我々は,11モデル構成以上の6MLモデルの1500HP損失景観に対して,大規模フィットネスランドスケープ解析(FLA)を実施している。
我々は、その地形のスムーズさ、中立性、モダリティの観点から、最初の統一された総合的な肖像画を明らかにした。
また、そのような特性はデータセットや忠実度間で高度に伝達可能であることを示し、多忠実性および伝達学習手法の成功の基本的な証拠を提供する。
- 参考スコア(独自算出の注目度): 5.1059158939850064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent success in a plethora of hyperparameter optimization (HPO)
methods for machine learning (ML) models, the intricate interplay between model
hyperparameters (HPs) and predictive losses (a.k.a fitness), which is a key
prerequisite for understanding HPO, remain notably underexplored in our
community. This results in limited explainability in the HPO process, rendering
a lack of human trust and difficulties in pinpointing algorithm bottlenecks. In
this paper, we aim to shed light on this black box by conducting large-scale
fitness landscape analysis (FLA) on 1,500 HP loss landscapes of 6 ML models
with more than 11 model configurations, across 67 datasets and different levels
of fidelities. We reveal the first unified, comprehensive portrait of their
topographies in terms of smoothness, neutrality and modality. We also show that
such properties are highly transferable across datasets and fidelities,
providing fundamental evidence for the success of multi-fidelity and transfer
learning methods. These findings are made possible by developing a dedicated
FLA framework that incorporates a combination of visual and quantitative
measures. We further demonstrate the potential of this framework by analyzing
the NAS-Bench-101 landscape, and we believe it is able to faciliate fundamental
understanding of a broader range of AutoML tasks.
- Abstract(参考訳): 近年、機械学習(ML)モデルのための多くのハイパーパラメータ最適化(HPO)手法が成功しているにもかかわらず、モデルハイパーパラメータ(HP)と予測損失(フィットネス)の間の複雑な相互作用は、HPOを理解する上で重要な前提条件である。
これにより、HPOプロセスにおける説明可能性に限界が生じ、人間の信頼の欠如とアルゴリズムのボトルネックの特定が困難になる。
本稿では,6 mlモデルと11 モデル以上のモデル構成,67 のデータセットと異なるフィダリティレベルにおいて,1500 hp のロスランドスケープに対して,大規模フィットネスランドスケープ分析 (fla) を行うことにより,このブラックボックスに光を当てる。
我々は、その地形のスムーズさ、中立性、モダリティの観点から、最初の統一された総合的な肖像画を明らかにする。
また,このような特性はデータセットやフィディティー間で高い転送性を有しており,マルチ忠実度と転送学習手法の成功の基本的な証拠となっている。
これらの発見は、視覚的および定量的な指標を組み合わせた専用のFLAフレームワークを開発することで可能となる。
我々は、NAS-Bench-101のランドスケープを分析して、このフレームワークの可能性をさらに実証し、幅広いAutoMLタスクの基本的な理解をファシリケートできると考えている。
関連論文リスト
- Observation, Analysis, and Solution: Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
コンピュータビジョンにおける大規模な視覚変換器(ViT)のためのマスク付き画像モデリング(MIM)の事前トレーニングにより、学習された自己教師付きVT機能に加えて、下流のパフォーマンスが期待できる。
本稿では,ごく単純なViTの小型アーキテクチャによる微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。
論文 参考訳(メタデータ) (2024-04-18T14:14:44Z) - Machine Unlearning of Pre-trained Large Language Models [18.278849670377816]
本研究では,大規模言語モデル(LLM)の文脈における「忘れられる権利」の概念について検討する。
我々は、事前学習されたモデルに焦点をあてて、機械学習を重要なソリューションとして探求する。
論文 参考訳(メタデータ) (2024-02-23T07:43:26Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-13T16:00:31Z) - Reflection Equivariant Quantum Neural Networks for Enhanced Image
Classification [0.7232471205719458]
我々は、データに固有の対称性を明示的に尊重する新しい機械学習モデル、いわゆる幾何量子機械学習(GQML)を構築した。
これらのネットワークは、複雑な実世界の画像データセットに対する一般的なアンサーゼを一貫して、そして著しく向上させることができる。
論文 参考訳(メタデータ) (2022-12-01T04:10:26Z) - Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。
これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。
Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
論文 参考訳(メタデータ) (2022-07-04T16:35:58Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳(メタデータ) (2022-06-10T04:54:13Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - A Bayesian Multiscale Deep Learning Framework for Flows in Random Media [0.0]
マルチスケール偏微分方程式(PDE)によって制御される複雑なシステムの微細スケールシミュレーションは計算コストが高く,そのような問題に対処する様々なマルチスケール手法が開発されている。
本研究では,学習データに制限のあるマルチスケールPDEのためのハイブリッドディープラーニングとマルチスケールアプローチを提案する。
実演目的では,多孔質メディアフローの問題に焦点をあてる。
画像から画像への教師あり深層学習モデルを用いて,入力透過性場とマルチスケール基底関数のマッピングを学習する。
論文 参考訳(メタデータ) (2021-03-08T23:11:46Z) - FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network
Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。
相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。
我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文 参考訳(メタデータ) (2020-12-17T08:20:09Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。
合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
論文 参考訳(メタデータ) (2020-02-28T01:18:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。