論文の概要: Guided Hyperparameter Tuning Through Visualization and Inference

• arxiv url: http://arxiv.org/abs/2105.11516v1
• Date: Mon, 24 May 2021 19:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-26 13:50:06.646894
• Title: Guided Hyperparameter Tuning Through Visualization and Inference
• Title（参考訳）: 可視化と推論によるハイパーパラメータチューニング
• Authors: Hyekang Joo, Calvin Bao, Ishan Sen, Furong Huang, and Leilani Battle
• Abstract要約: 本稿では,ディープラーニングの実践者がハイパーパラメータをより効率的に探索し,チューニングし,最適化することができる可視化システムを提案する。 鍵となる考え方は、予測メカニズムを使用して、より最適なハイパーパラメータを直接提案することである。 私たちはこのツールをディープラーニングモデルビルダーに関するユーザスタディで評価し、私たちの参加者はツールの採用にほとんど問題がなく、ワークフローの一部として作業しています。
• 参考スコア（独自算出の注目度）: 12.035299005299306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For deep learning practitioners, hyperparameter tuning for optimizing model performance can be a computationally expensive task. Though visualization can help practitioners relate hyperparameter settings to overall model performance, significant manual inspection is still required to guide the hyperparameter settings in the next batch of experiments. In response, we present a streamlined visualization system enabling deep learning practitioners to more efficiently explore, tune, and optimize hyperparameters in a batch of experiments. A key idea is to directly suggest more optimal hyperparameter values using a predictive mechanism. We then integrate this mechanism with current visualization practices for deep learning. Moreover, an analysis on the variance in a selected performance metric in the context of the model hyperparameters shows the impact that certain hyperparameters have on the performance metric. We evaluate the tool with a user study on deep learning model builders, finding that our participants have little issue adopting the tool and working with it as part of their workflow.
• Abstract（参考訳）: ディープラーニングの実践者にとって、モデルのパフォーマンスを最適化するためのハイパーパラメータチューニングは計算コストの高いタスクである。 ビジュアライゼーションはハイパーパラメータの設定をモデル全体のパフォーマンスに関連付けるのに役立つが、次の実験でハイパーパラメータの設定を導くには、依然としてかなりの手作業による検査が必要である。 そこで本研究では,深層学習の実践者がハイパーパラメータをより効率的に探索し,チューニングし,最適化することが可能な可視化システムを提案する。 重要なアイデアは、予測機構を使ってより最適なハイパーパラメータ値を直接提案することである。 そして、このメカニズムを現在のディープラーニングの可視化プラクティスと統合します。 さらに、モデルハイパーパラメータのコンテキストにおける選択されたパフォーマンスメトリックの分散の分析は、特定のハイパーパラメータがパフォーマンスメトリックに与える影響を示している。 私たちはこのツールをディープラーニングモデルビルダーに関するユーザスタディで評価し、私たちの参加者はツールの採用にほとんど問題がなく、ワークフローの一部として作業しています。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
  ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。 モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。 本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
  論文  参考訳（メタデータ） (2024-03-03T08:25:04Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• The Role of Adaptive Optimizers for Honest Private Hyperparameter Selection [12.38071940409141]
  標準合成ツールは、多くの設定において、より高度な技術よりも優れていることを示す。 我々は、新しいより効率的なツールを設計するために、DP設定におけるAdamの制限的な振る舞いを描きます。
  論文  参考訳（メタデータ） (2021-11-09T01:56:56Z)
• To tune or not to tune? An Approach for Recommending Important Hyperparameters [2.121963121603413]
  機械学習モデルの性能とハイパーパラメータの関係を構築して、トレンドを発見し、洞察を得ることを検討する。 この結果から,ユーザが時間を要するチューニング戦略を実行する価値があるかどうかを判断することが可能になる。
  論文  参考訳（メタデータ） (2021-08-30T08:54:58Z)
• VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization [4.237343083490243]
  機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。 本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。 VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
  論文  参考訳（メタデータ） (2020-12-02T13:43:37Z)
• HyperTendril: Visual Analytics for User-Driven Hyperparameter Optimization of Deep Neural Networks [36.047441272704205]
  HyperTendrilはWebベースのビジュアル分析システムで、ユーザ主導のハイパーパラメータチューニングプロセスをサポートする。 我々は,HyperTendrilが,プロフェッショナルな産業環境にシステムを展開する際に,対話ログの分析と詳細なインタビューに基づいて,縦断的なユーザスタディを通じて,ユーザのチューニングプロセスのステアリングを支援する方法を示す。
  論文  参考訳（メタデータ） (2020-09-04T09:11:08Z)
• Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
  事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。 ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。 本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
  論文  参考訳（メタデータ） (2020-02-19T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。