論文の概要: LQF: Linear Quadratic Fine-Tuning
- arxiv url: http://arxiv.org/abs/2012.11140v1
- Date: Mon, 21 Dec 2020 06:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 06:46:44.933683
- Title: LQF: Linear Quadratic Fine-Tuning
- Title（参考訳）: LQF:線形二次微調整
- Authors: Alessandro Achille, Aditya Golatkar, Avinash Ravichandran, Marzia
Polito, Stefano Soatto
- Abstract要約: 本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
- 参考スコア（独自算出の注目度）: 114.3840147070712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifiers that are linear in their parameters, and trained by optimizing a
convex loss function, have predictable behavior with respect to changes in the
training data, initial conditions, and optimization. Such desirable properties
are absent in deep neural networks (DNNs), typically trained by non-linear
fine-tuning of a pre-trained model. Previous attempts to linearize DNNs have
led to interesting theoretical insights, but have not impacted the practice due
to the substantial performance gap compared to standard non-linear
optimization. We present the first method for linearizing a pre-trained model
that achieves comparable performance to non-linear fine-tuning on most of
real-world image classification tasks tested, thus enjoying the
interpretability of linear models without incurring punishing losses in
performance. LQF consists of simple modifications to the architecture, loss
function and optimization typically used for classification: Leaky-ReLU instead
of ReLU, mean squared loss instead of cross-entropy, and pre-conditioning using
Kronecker factorization. None of these changes in isolation is sufficient to
approach the performance of non-linear fine-tuning. When used in combination,
they allow us to reach comparable performance, and even superior in the
low-data regime, while enjoying the simplicity, robustness and interpretability
of linear-quadratic optimization.
- Abstract（参考訳）: パラメータで線形であり、凸損失関数を最適化して訓練される分類器は、トレーニングデータの変化、初期条件、最適化に関して予測可能な振る舞いを持つ。
このような望ましい特性はディープニューラルネットワーク(DNN)では欠落しており、通常はトレーニング済みモデルの非線形微調整によって訓練される。
従来のDNNの線形化の試みは、興味深い理論的洞察をもたらしたが、標準的な非線形最適化に比べて性能の差が大きいため、その実践には影響を与えなかった。
本稿では,実世界の画像分類タスクのほとんどにおいて,非線形微調整に匹敵する性能を実現する事前学習モデルに対する最初の線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、最適化が典型的な分類に使われる:ReLUの代わりにLeaky-ReLU、クロスエントロピーの代わりに2乗損失の平均、Kronecker因子化を用いた事前条件付け。
これらの独立性の変化は、非線形微調整の性能に近づくには十分ではない。
組み合わせて使用すると、線形四元数最適化の単純さ、堅牢性、解釈性を享受しながら、同等のパフォーマンスに到達し、低データ構造においてさらに優れている。
関連論文リスト
- Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Model-based Offline Imitation Learning with Non-expert Data [7.615595533111191]
本稿では,最適条件と最適条件の両方で収集されたデータセットを活用する,スケーラブルなモデルベースオフライン模倣学習アルゴリズムフレームワークを提案する。
提案手法は, シミュレーションされた連続制御領域上での低データ構造における振舞いクローンよりも優れることを示す。
論文 参考訳（メタデータ） (2022-06-11T13:08:08Z) - The Selectively Adaptive Lasso [77.92020418343022]
高適応ラッソ (Highly Adaptive Lasso, HAL) は、有意義に大きな関数のクラスに対して十分早く収束することが証明された唯一の回帰法である。
我々はHALの理論に基づいて、HALの次元自由非パラメトリック収束率を保持する新しいアルゴリズムSAL(Selectively Adaptive Lasso)を構築する。
我々のアルゴリズムは適応的な学習率で勾配木を増進する形式であり、既成のソフトウェアで高速かつ簡単な実装を可能にする。
論文 参考訳（メタデータ） (2022-05-22T00:34:41Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳（メタデータ） (2022-03-19T13:39:49Z) - Near-optimal Offline Reinforcement Learning with Linear Representation:
Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。
線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文 参考訳（メタデータ） (2022-03-11T09:00:12Z) - Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model
Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。
凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文 参考訳（メタデータ） (2022-02-02T23:50:53Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Exploiting Spline Models for the Training of Fully Connected Layers in
Neural Network [0.0]
人工ニューラルネットワーク(ANN)の最も基本的なモジュールの1つである完全連結(FC)層は、しばしば訓練が困難で非効率であると考えられている。
fc層を訓練することの難しさを緩和するスプラインベースアプローチを提案する。
提案手法は計算コストを低減し,fc層の収束を加速し,モデルの解釈可能性を大幅に向上させる。
論文 参考訳（メタデータ） (2021-02-12T14:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。