論文の概要: Hyperparameter Tuning is All You Need for LISTA

• arxiv url: http://arxiv.org/abs/2110.15900v1
• Date: Fri, 29 Oct 2021 16:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 14:20:32.736499
• Title: Hyperparameter Tuning is All You Need for LISTA
• Title（参考訳）: ハイパーパラメータチューニングはlistaに必要なすべてです
• Authors: Xiaohan Chen, Jialin Liu, Zhangyang Wang, Wotao Yin
• Abstract要約: Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 LISTAネットワークの中間変数に運動量を加えることで、より優れた収束率が得られることを示す。 この超軽量ネットワークをHyperLISTAと呼ぶ。
• 参考スコア（独自算出の注目度）: 92.7008234085887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learned Iterative Shrinkage-Thresholding Algorithm (LISTA) introduces the concept of unrolling an iterative algorithm and training it like a neural network. It has had great success on sparse recovery. In this paper, we show that adding momentum to intermediate variables in the LISTA network achieves a better convergence rate and, in particular, the network with instance-optimal parameters is superlinearly convergent. Moreover, our new theoretical results lead to a practical approach of automatically and adaptively calculating the parameters of a LISTA network layer based on its previous layers. Perhaps most surprisingly, such an adaptive-parameter procedure reduces the training of LISTA to tuning only three hyperparameters from data: a new record set in the context of the recent advances on trimming down LISTA complexity. We call this new ultra-light weight network HyperLISTA. Compared to state-of-the-art LISTA models, HyperLISTA achieves almost the same performance on seen data distributions and performs better when tested on unseen distributions (specifically, those with different sparsity levels and nonzero magnitudes). Code is available: https://github.com/VITA-Group/HyperLISTA.
• Abstract（参考訳）: Learned Iterative Shrinkage-Thresholding Algorithm (LISTA)は、反復アルゴリズムをアンロールしてニューラルネットワークのようにトレーニングするという概念を導入している。 緩やかな回復で大きな成功を収めた。 本稿では,listaネットワークの中間変数に運動量を加えることで,より優れた収束率を実現し,特にインスタンス最適パラメータを持つネットワークは超線形収束することを示す。 さらに,新しい理論結果から,前層に基づくlistaネットワーク層のパラメータを自動的かつ適応的に計算する実用的な手法が得られた。 おそらく最も驚くべきのは、このような適応パラメータ手順によって、データから3つのハイパーパラメータのみをチューニングできるlistaのトレーニングが削減されることだ。 この超軽量ネットワークをhyperlistaと呼んでいる。 最先端のLISTAモデルと比較して、HyperLISTAは、観測されたデータ分布でほぼ同じ性能を達成し、目に見えない分布(特に、空間レベルと非ゼロ等級の異なるもの)でテストした場合、より良い性能を発揮する。 コードはhttps://github.com/VITA-Group/HyperLISTA.comで入手できる。

関連論文リスト

• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Hyperparameter Optimization through Neural Network Partitioning [11.6941692990626]
  本稿では,ニューラルネットワークにおけるハイパーパラメータの最適化をシンプルかつ効率的に行う方法を提案する。 本手法では,トレーニングデータとニューラルネットワークモデルをデータシャードとパラメータ分割に$K$に分割する。 我々は、この目的を単一のトレーニングランで様々なハイパーパラメータを最適化するために適用できることを実証した。
  論文  参考訳（メタデータ） (2023-04-28T11:24:41Z)
• Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks [50.193061099112626]
  学習可能なパラメータを持つディープニューラルネットワーク(DNN)として反復アルゴリズムを展開させることで、線形逆問題を解決することを約束している。 既存のISTAベースのアンフォールドアルゴリズムは、収束を保証するために部分重結合構造で繰り返し更新するネットワークアーキテクチャを制限する。 本論文は,ISTAに基づく非折り畳みアルゴリズムにおける自由形式DNNを実現するための収束証明可能なフレームワークを初めて提供するものである。
  論文  参考訳（メタデータ） (2022-04-25T13:17:57Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
  我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。 我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
  論文  参考訳（メタデータ） (2021-11-28T05:27:34Z)
• Surrogate Model Based Hyperparameter Tuning for Deep Learning with SPOT [0.40611352512781856]
  本稿では、Keras/tensorflowで実装されたディープラーニングモデルのアーキテクチャレベルのパラメータをどのように最適化できるかを示す。 チューニング手順の実装は、統計コンピューティングのソフトウェア環境であるRに基づいて100%である。
  論文  参考訳（メタデータ） (2021-05-30T21:16:51Z)
• Practical and sample efficient zero-shot HPO [8.41866793161234]
  利用可能なアプローチの概要と、この問題に対処する2つの新しいテクニックを紹介します。 1つは、サロゲートモデルに基づいて、クエリのためのデータセットと設定のペアを適応的に選択する。 2つ目は、サロゲートモデルの検出、チューニング、テストが問題となる設定のためのもので、HyperBandとサブモジュラー最適化を組み合わせた多要素技術である。
  論文  参考訳（メタデータ） (2020-07-27T08:56:55Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。