論文の概要: LQF: Linear Quadratic Fine-Tuning
- arxiv url: http://arxiv.org/abs/2012.11140v1
- Date: Mon, 21 Dec 2020 06:40:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-04-27 06:46:44.933683
- Title: LQF: Linear Quadratic Fine-Tuning
- Title（参考訳）: LQF:線形二次微調整
- Authors: Alessandro Achille, Aditya Golatkar, Avinash Ravichandran, Marzia
Polito, Stefano Soatto
- Abstract要約: 本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
- 参考スコア（独自算出の注目度）: 114.3840147070712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classifiers that are linear in their parameters, and trained by optimizing a
convex loss function, have predictable behavior with respect to changes in the
training data, initial conditions, and optimization. Such desirable properties
are absent in deep neural networks (DNNs), typically trained by non-linear
fine-tuning of a pre-trained model. Previous attempts to linearize DNNs have
led to interesting theoretical insights, but have not impacted the practice due
to the substantial performance gap compared to standard non-linear
optimization. We present the first method for linearizing a pre-trained model
that achieves comparable performance to non-linear fine-tuning on most of
real-world image classification tasks tested, thus enjoying the
interpretability of linear models without incurring punishing losses in
performance. LQF consists of simple modifications to the architecture, loss
function and optimization typically used for classification: Leaky-ReLU instead
of ReLU, mean squared loss instead of cross-entropy, and pre-conditioning using
Kronecker factorization. None of these changes in isolation is sufficient to
approach the performance of non-linear fine-tuning. When used in combination,
they allow us to reach comparable performance, and even superior in the
low-data regime, while enjoying the simplicity, robustness and interpretability
of linear-quadratic optimization.
- Abstract（参考訳）: パラメータで線形であり、凸損失関数を最適化して訓練される分類器は、トレーニングデータの変化、初期条件、最適化に関して予測可能な振る舞いを持つ。
このような望ましい特性はディープニューラルネットワーク(DNN)では欠落しており、通常はトレーニング済みモデルの非線形微調整によって訓練される。
従来のDNNの線形化の試みは、興味深い理論的洞察をもたらしたが、標準的な非線形最適化に比べて性能の差が大きいため、その実践には影響を与えなかった。
本稿では,実世界の画像分類タスクのほとんどにおいて,非線形微調整に匹敵する性能を実現する事前学習モデルに対する最初の線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、最適化が典型的な分類に使われる:ReLUの代わりにLeaky-ReLU、クロスエントロピーの代わりに2乗損失の平均、Kronecker因子化を用いた事前条件付け。
これらの独立性の変化は、非線形微調整の性能に近づくには十分ではない。
組み合わせて使用すると、線形四元数最適化の単純さ、堅牢性、解釈性を享受しながら、同等のパフォーマンスに到達し、低データ構造においてさらに優れている。
関連論文リスト
- NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。
本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。
理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
論文 参考訳（メタデータ） (2024-10-02T17:29:23Z) - Controlled Learning of Pointwise Nonlinearities in Neural-Network-Like Architectures [14.93489065234423]
本稿では,階層型計算アーキテクチャにおける自由形式非線形性のトレーニングのための一般的な変分フレームワークを提案する。
傾斜制約により、1-Lipschitz安定性、堅固な非膨張性、単調性/可逆性といった特性を課すことができる。
本稿では, 非線形性を適切な(一様でない)B-スプラインベースで表現することで, 数値関数最適化問題の解法を示す。
論文 参考訳（メタデータ） (2024-08-23T14:39:27Z) - Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。
本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。
本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
論文 参考訳（メタデータ） (2024-03-15T12:00:37Z) - Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。
ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
論文 参考訳（メタデータ） (2024-02-02T16:35:51Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳（メタデータ） (2023-10-02T17:42:01Z) - Optimal Nonlinearities Improve Generalization Performance of Random
Features [0.9790236766474201]
非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。
ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。
最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
論文 参考訳（メタデータ） (2023-09-28T20:55:21Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳（メタデータ） (2022-03-19T13:39:49Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - The role of optimization geometry in single neuron learning [12.891722496444036]
近年,表現型ニューラルネットワークの学習において,最適化アルゴリズムの選択が一般化性能に影響を与えることが実証されている。
幾何学と特徴幾何学の相互作用が、どのようにしてアウト・オブ・サンプレットを導き、性能を向上させるかを示す。
論文 参考訳（メタデータ） (2020-06-15T17:39:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。