論文の概要: On the Hyperparameter Landscapes of Machine Learning Algorithms

• arxiv url: http://arxiv.org/abs/2311.14014v1
• Date: Thu, 23 Nov 2023 14:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-27 23:29:34.710398
• Title: On the Hyperparameter Landscapes of Machine Learning Algorithms
• Title（参考訳）: 機械学習アルゴリズムのハイパーパラメータ景観について
• Authors: Mingyu Huang, Ke Li
• Abstract要約: 我々は,11モデル構成以上の6MLモデルの1500HP損失景観に対して,大規模フィットネスランドスケープ解析(FLA)を実施している。 我々は、その地形のスムーズさ、中立性、モダリティの観点から、最初の統一された総合的な肖像画を明らかにした。 また、そのような特性はデータセットや忠実度間で高度に伝達可能であることを示し、多忠実性および伝達学習手法の成功の基本的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 5.1059158939850064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success in a plethora of hyperparameter optimization (HPO) methods for machine learning (ML) models, the intricate interplay between model hyperparameters (HPs) and predictive losses (a.k.a fitness), which is a key prerequisite for understanding HPO, remain notably underexplored in our community. This results in limited explainability in the HPO process, rendering a lack of human trust and difficulties in pinpointing algorithm bottlenecks. In this paper, we aim to shed light on this black box by conducting large-scale fitness landscape analysis (FLA) on 1,500 HP loss landscapes of 6 ML models with more than 11 model configurations, across 67 datasets and different levels of fidelities. We reveal the first unified, comprehensive portrait of their topographies in terms of smoothness, neutrality and modality. We also show that such properties are highly transferable across datasets and fidelities, providing fundamental evidence for the success of multi-fidelity and transfer learning methods. These findings are made possible by developing a dedicated FLA framework that incorporates a combination of visual and quantitative measures. We further demonstrate the potential of this framework by analyzing the NAS-Bench-101 landscape, and we believe it is able to faciliate fundamental understanding of a broader range of AutoML tasks.
• Abstract（参考訳）: 近年、機械学習(ML)モデルのための多くのハイパーパラメータ最適化(HPO)手法が成功しているにもかかわらず、モデルハイパーパラメータ(HP)と予測損失(フィットネス)の間の複雑な相互作用は、HPOを理解する上で重要な前提条件である。 これにより、HPOプロセスにおける説明可能性に限界が生じ、人間の信頼の欠如とアルゴリズムのボトルネックの特定が困難になる。 本稿では,6 mlモデルと11 モデル以上のモデル構成,67 のデータセットと異なるフィダリティレベルにおいて,1500 hp のロスランドスケープに対して,大規模フィットネスランドスケープ分析 (fla) を行うことにより,このブラックボックスに光を当てる。 我々は、その地形のスムーズさ、中立性、モダリティの観点から、最初の統一された総合的な肖像画を明らかにする。 また,このような特性はデータセットやフィディティー間で高い転送性を有しており,マルチ忠実度と転送学習手法の成功の基本的な証拠となっている。 これらの発見は、視覚的および定量的な指標を組み合わせた専用のFLAフレームワークを開発することで可能となる。 我々は、NAS-Bench-101のランドスケープを分析して、このフレームワークの可能性をさらに実証し、幅広いAutoMLタスクの基本的な理解をファシリケートできると考えている。

関連論文リスト

• Edge-AI for Agriculture: Lightweight Vision Models for Disease Detection in Resource-Limited Settings [0.0]
  提案システムは,エッジデバイスへの展開に最適化された高度なオブジェクト検出,分類,セグメンテーションモデルを統合する。 本研究は, 精度, 計算効率, 一般化能力に着目し, 各種最先端モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-12-23T06:48:50Z)
• Visual Error Patterns in Multi-Modal AI: A Statistical Approach [0.0]
  MLLM(Multi-modal large language model)は、テキストと視覚データの統合に優れるが、曖昧さや不完全な視覚刺激を解釈する際に体系的な課題に直面する。 本研究では3D、回転、顔と面の欠如といった特徴を特徴とする幾何的刺激のデータセットを用いて、統計モデルを用いてこれらの誤差を駆動する要因を分析する。
  論文  参考訳（メタデータ） (2024-11-27T01:20:08Z)
• Visualizing Loss Functions as Topological Landscape Profiles [41.15010759601887]
  機械学習では、損失関数はモデル予測と接地真実(または目標)値の違いを測定する。 ニューラルネットワークモデルでは、モデルパラメータが変化するにつれてこの損失がどのように変化するかを視覚化することで、いわゆるロスランドスケープの局所構造に関する洞察を得ることができる。 本稿では,高次元ロスランドスケープの可視化を可能にするトポロジカルデータ解析に基づく新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-11-19T00:28:14Z)
• Evaluating Loss Landscapes from a Topology Perspective [43.25939653609482]
  ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。 その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。 損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-14T20:46:26Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• OtterHD: A High-Resolution Multi-modality Model [57.16481886807386]
  OtterHD-8Bは、高解像度の視覚入力を粒度精度で解釈するために設計された革新的なマルチモーダルモデルである。 本研究は,大規模マルチモーダルモデルにおける柔軟性と高分解能入力能力の重要な役割を明らかにする。
  論文  参考訳（メタデータ） (2023-11-07T18:59:58Z)
• Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning [10.51168925267033]
  本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。 幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。 また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
  論文  参考訳（メタデータ） (2023-03-28T00:06:38Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Interpretable Hyperspectral AI: When Non-Convex Modeling meets Hyperspectral Remote Sensing [57.52865154829273]
  ハイパースペクトルイメージング、別名画像分光法は、地球科学リモートセンシング(RS)におけるランドマーク技術です。 過去10年間で、主に熟練した専門家によってこれらのハイパースペクトル(HS)製品を分析するための取り組みが行われています。 このため、さまざまなHS RSアプリケーションのためのよりインテリジェントで自動的なアプローチを開発することが急務です。
  論文  参考訳（メタデータ） (2021-03-02T03:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。