Fugu-MT 論文翻訳(概要): A Light-Weight Multi-Objective Asynchronous Hyper-Parameter Optimizer

論文の概要: A Light-Weight Multi-Objective Asynchronous Hyper-Parameter Optimizer

arxiv url: http://arxiv.org/abs/2202.07735v1
Date: Tue, 15 Feb 2022 21:30:38 GMT
ステータス: 処理完了
システム内更新日: 2022-02-18 04:41:14.655300
Title: A Light-Weight Multi-Objective Asynchronous Hyper-Parameter Optimizer
Title（参考訳）: 軽量マルチ目的非同期ハイパーパラメータオプティマイザ
Authors: Gabriel Maher, Stephen Boyd, Mykel Kochenderfer, Cristian Matache, Alex Ulitsky, Slava Yukhymuk, Leonid Kopman
Abstract要約: 本稿では,ハイパーパラメータ最適化のための軽量かつ高性能なシステムについて述べる。複数の性能目標を組み合わせることで得られる全スカラーコスト関数をほぼ最小化する。トレードオフモードもサポートしており、ユーザと対話することで目標間の適切なトレードオフを見つけることが目標だ。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We describe a light-weight yet performant system for hyper-parameter optimization that approximately minimizes an overall scalar cost function that is obtained by combining multiple performance objectives using a target-priority-limit scalarizer. It also supports a trade-off mode, where the goal is to find an appropriate trade-off among objectives by interacting with the user. We focus on the common scenario where there are on the order of tens of hyper-parameters, each with various attributes such as a range of continuous values, or a finite list of values, and whether it should be treated on a linear or logarithmic scale. The system supports multiple asynchronous simulations and is robust to simulation stragglers and failures.
Abstract（参考訳）: 本稿では,目標優先スカラー化器を用いて,複数の性能目標を組み合わせることで得られるスカラーコスト関数全体の最小化を図る,ハイパーパラメータ最適化のための軽量かつ高性能なシステムについて述べる。トレードオフモードもサポートしており、ユーザと対話することで目標間の適切なトレードオフを見つけることが目標だ。連続値の範囲や値の有限リストといったさまざまな属性を持ち、線形または対数スケールで扱うべきかどうかという、数十のハイパーパラメータの順序に共通するシナリオに注目した。システムは複数の非同期シミュレーションをサポートし、ストラグラーや障害のシミュレーションにロバストである。

関連論文リスト

Semantic Codebook Learning for Dynamic Recommendation Models [55.98259490159084]
動的シーケンシャルレコメンデーション(DSR)は、ユーザの振る舞いに基づいてモデルパラメータを生成し、シーケンシャルレコメンデーションのパーソナライズを改善する。巨大なパラメータ探索空間と疎結合でノイズの多いユーザ-イテム相互作用の課題に直面するため、生成されたモデルパラメータの適用性が低下する。 Semantic Codebook Learning for Dynamic Recommendation Models (SOLID)フレームワークは、これらの課題に効果的に取り組むことで、DSRの大幅な進歩を示す。
論文参考訳（メタデータ） (2024-07-31T19:25:25Z)
Hyperparameter Importance Analysis for Multi-Objective AutoML [14.336028105614824]
本稿では,多目的ハイパーパラメータ最適化の文脈におけるハイパーパラメータの重要性を評価するための最初の手法を提案する。具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。本研究は,MOOタスクにおけるハイパーパラメータチューニングのための貴重なガイダンスを提供するとともに,複雑な最適化シナリオにおけるHPI理解の促進にも寄与する。
論文参考訳（メタデータ） (2024-05-13T11:00:25Z)
Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives [5.94867851915494]
これらの問題に対処する多目的ベイズ最適化(MoBO)アルゴリズムを提案する。不要な構成の探索を避けるため、目的に制約を課すことで、アプローチの効率を向上する。最後に、MoBOを並列化するアプローチを活用し、16倍のワーカーを使用する場合、5倍のスピードアップをもたらす。
論文参考訳（メタデータ） (2023-09-26T13:48:04Z)
Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文参考訳（メタデータ） (2023-05-15T06:40:56Z)
Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文参考訳（メタデータ） (2023-03-25T14:40:59Z)
Efficiently Controlling Multiple Risks with Pareto Testing [34.83506056862348]
本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
論文参考訳（メタデータ） (2022-10-14T15:54:39Z)
Multi-objective and multi-fidelity Bayesian optimization of laser-plasma acceleration [0.0]
シミュレーションレーザープラズマ加速器の多目的最適化に関する最初の結果を示す。多目的最適化は単目的最適化と同等かそれ以上に性能が優れていることが判明した。シミュレーションの解像度とボックスサイズを動的に選択することで,最適化の計算コストを大幅に削減する。
論文参考訳（メタデータ） (2022-10-07T12:09:09Z)
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文参考訳（メタデータ） (2022-03-15T19:25:01Z)
A multi-objective perspective on jointly tuning hardware and hyperparameters [10.605719154114357]
完全なAutoMLソリューションでは、適切なハードウェアを自動選択する必要がある。ハードウェア構成を自動的に選択し適応する多目的アプローチを採用しています。我々はNASとHPOの広範な実験において、両者が大きなスピードアップとコスト削減をもたらすことを示した。
論文参考訳（メタデータ） (2021-06-10T11:52:55Z)
DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution [136.7261709896713]
本稿では,インスタンスの性質に応じて適切な畳み込みカーネルを生成するデータ駆動型アプローチを提案する。提案手法はScanetNetV2とS3DISの両方で有望な結果が得られる。また、現在の最先端よりも推論速度を25%以上向上させる。
論文参考訳（メタデータ） (2020-11-26T14:56:57Z)
Highly Efficient Salient Object Detection with 100K Parameters [137.74898755102387]
そこで我々は,段階内および複数ステージのマルチスケール機能を効率的に活用するために,フレキシブルな畳み込みモジュールであるOctoConv(gOctConv)を提案する。我々は、非常に軽量なモデル、すなわちCSNetを構築し、一般的なオブジェクト検出ベンチマークで、約0.2%(100k)の大規模モデルで同等のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-03-12T07:00:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。