論文の概要: On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study

• arxiv url: http://arxiv.org/abs/2311.14014v2
• Date: Fri, 24 May 2024 08:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 23:46:28.508441
• Title: On the Hyperparameter Loss Landscapes of Machine Learning Models: An Exploratory Study
• Title（参考訳）: 機械学習モデルのハイパーパラメータ損失景観について:探索的研究
• Authors: Mingyu Huang, Ke Li,
• Abstract要約: 我々は、6つの代表MLモデルの1500HP損失ランドスケープを、異なる忠実度レベルの63データセット上で探索分析する。 我々は、様々なモデル、データセット、忠実度にまたがる同様の地形地形を観察し、HPOにおけるいくつかの中心的なトピックに光を当てた。
• 参考スコア（独自算出の注目度）: 4.322038460697958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous efforts on hyperparameter optimization (HPO) of machine learning (ML) models predominately focus on algorithmic advances, yet little is known about the topography of the underlying hyperparameter (HP) loss landscape, which plays a fundamental role in governing the search process of HPO. While several works have conducted fitness landscape analysis (FLA) on various ML systems, they are limited to properties of isolated landscape without interrogating the potential structural similarities among them. The exploration of such similarities can provide a novel perspective for understanding the mechanism behind modern HPO methods, but has been missing, possibly due to the expensive cost of large-scale landscape construction, and the lack of effective analysis methods. In this paper, we mapped 1,500 HP loss landscapes of 6 representative ML models on 63 datasets across different fidelity levels, with 11M+ configurations. By conducting exploratory analysis on these landscapes with fine-grained visualizations and dedicated FLA metrics, we observed a similar landscape topography across a wide range of models, datasets, and fidelities, and shed light on several central topics in HPO.
• Abstract（参考訳）: 機械学習(ML)モデルのハイパーパラメータ最適化(HPO)に対するこれまでの取り組みは、アルゴリズムの進歩に重点を置いていたが、HPOの探索過程を統括する基盤となるハイパーパラメータ(HP)ロスランドスケープの地形についてはほとんど知られていない。 いくつかの研究が様々なMLシステム上でフィットネスランドスケープ解析(FLA)を行っているが、それらの構造的類似性を疑うことなく、孤立したランドスケープの特性に制限されている。 このような類似点の探索は、現代のHPO法の背後にあるメカニズムを理解するための新しい視点を提供することができるが、おそらくは大規模景観構築のコストと効果的な分析方法の欠如のために欠落している。 本稿では、6つの代表MLモデルの1500HPロスランドスケープを、異なる忠実度レベルにわたる63のデータセットにマッピングし、11M以上構成した。 詳細な可視化と専用のFLAメトリクスを用いて,これらの景観の探索的解析を行うことで,様々なモデル,データセット,忠実度にまたがる類似の景観地形を観察し,HPOのいくつかの中心的なトピックに光を当てた。

関連論文リスト

• Visualizing Loss Functions as Topological Landscape Profiles [41.15010759601887]
  機械学習では、損失関数はモデル予測と接地真実(または目標)値の違いを測定する。 ニューラルネットワークモデルでは、モデルパラメータが変化するにつれてこの損失がどのように変化するかを視覚化することで、いわゆるロスランドスケープの局所構造に関する洞察を得ることができる。 本稿では,高次元ロスランドスケープの可視化を可能にするトポロジカルデータ解析に基づく新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-11-19T00:28:14Z)
• Evaluating Loss Landscapes from a Topology Perspective [43.25939653609482]
  ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。 その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。 損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-14T20:46:26Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• OtterHD: A High-Resolution Multi-modality Model [57.16481886807386]
  OtterHD-8Bは、高解像度の視覚入力を粒度精度で解釈するために設計された革新的なマルチモーダルモデルである。 本研究は,大規模マルチモーダルモデルにおける柔軟性と高分解能入力能力の重要な役割を明らかにする。
  論文  参考訳（メタデータ） (2023-11-07T18:59:58Z)
• Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning [10.51168925267033]
  本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。 幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。 また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
  論文  参考訳（メタデータ） (2023-03-28T00:06:38Z)
• A Collection of Deep Learning-based Feature-Free Approaches for Characterizing Single-Objective Continuous Fitness Landscapes [0.0]
  ランドスケープの洞察は、問題を理解するだけでなく、ベンチマークセットの多様性と構成を評価するためにも重要である。 本研究では、最適化ランドスケープを特徴付ける様々なアプローチのコレクションを提供する。 我々は、Deep Learningの助けを借りて、BBOBテストベッド上で考案した手法を実証し、検証し、予測する。
  論文  参考訳（メタデータ） (2022-04-12T12:46:31Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing [57.52865154829273]
  ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。 過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。 このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
  論文  参考訳（メタデータ） (2021-03-02T03:32:10Z)
• Learning Multivariate Hawkes Processes at Scale [17.17906360554892]
  提案手法は, 基礎となるネットワークの周囲次元とは無関係に, MHP の精度と勾配を計算可能であることを示す。 合成および実世界のデータセットについて、我々のモデルは最先端の予測結果を達成するだけでなく、実行時の性能を桁違いに改善することを示した。
  論文  参考訳（メタデータ） (2020-02-28T01:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。