論文の概要: Tangent Transformers for Composition, Privacy and Removal
- arxiv url: http://arxiv.org/abs/2307.08122v2
- Date: Thu, 20 Jul 2023 03:07:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 17:09:04.457192
- Title: Tangent Transformers for Composition, Privacy and Removal
- Title(参考訳): 構成・プライバシー・削除のためのタンジェント変換器
- Authors: Tian Yu Liu, Aditya Golatkar and Stefano Soatto
- Abstract要約: 本稿では,一階展開計算により得られる線形変換器の微調整手法であるTangent Attention Fine-Tuning(TAFT)を紹介する。
線形化から生じるヤコビアン・テイラー積は、1つの前方通過で効率的に計算できることを示す。
下流の様々な視覚的分類タスクに適用すると、TAFTで微調整されたTangent Transformerは、元の非線形ネットワークを微調整して可逆的に動作できることが示される。
- 参考スコア(独自算出の注目度): 74.86340153047534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Tangent Attention Fine-Tuning (TAFT), a method for fine-tuning
linearized transformers obtained by computing a First-order Taylor Expansion
around a pre-trained initialization. We show that the Jacobian-Vector Product
resulting from linearization can be computed efficiently in a single forward
pass, reducing training and inference cost to the same order of magnitude as
its original non-linear counterpart, while using the same number of parameters.
Furthermore, we show that, when applied to various downstream visual
classification tasks, the resulting Tangent Transformer fine-tuned with TAFT
can perform comparably with fine-tuning the original non-linear network. Since
Tangent Transformers are linear with respect to the new set of weights, and the
resulting fine-tuning loss is convex, we show that TAFT enjoys several
advantages compared to non-linear fine-tuning when it comes to model
composition, parallel training, machine unlearning, and differential privacy.
- Abstract(参考訳): 本稿では,1次テイラー展開計算による線形化変圧器の微調整手法であるTangent Attention Fine-Tuning(TAFT)を紹介する。
線形化から生じるヤコビアン・ベクター積は1つの前方通過で効率的に計算でき、同じ数のパラメータを用いてトレーニングと推論コストを元の非線形積と同じ桁に削減できることを示す。
さらに, 下流の様々な視覚分類課題に適用すると, タフトを微調整したタンジェント変圧器は, 元の非線形ネットワークの微調整と相性が良いことを示した。
タンジェントトランスフォーマーは,新しい重み集合に対して線形であり,結果として生じる微調整損失は凸であるので,モデル構成や並列トレーニング,機械学習,差分プライバシーなどに関して,TAFTは非線形微調整に比べていくつかの利点がある。
関連論文リスト
- Linear Transformers are Versatile In-Context Learners [21.444440482020994]
任意の線形変圧器が暗黙の線形モデルを維持していることを証明し、事前条件付き勾配勾配の変種として解釈できる。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
論文 参考訳(メタデータ) (2024-02-21T23:45:57Z) - Cross-Task Linearity Emerges in the Pretraining-Finetuning Paradigm [51.01613218027083]
クロスタスク線形性(CTL)は、共通の事前訓練されたチェックポイントからモデルで観察され、異なるタスクで微調整される。
CTLは、同じ事前訓練されたチェックポイントから始まる微調整されたモデルに対して一貫して発生する。
プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは基本的に線形写像として機能し、パラメータ空間から特徴空間へマッピングする。
論文 参考訳(メタデータ) (2024-02-06T03:28:36Z) - Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction
and Beyond [90.73035469104666]
制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
論文 参考訳(メタデータ) (2024-01-24T13:03:28Z) - Transformer as Linear Expansion of Learngene [38.16612771203953]
リニア・エクスパンジョン・オブ・ラーニングジェネレーション(TLEG)は多様な深さのトランスフォーマーを柔軟に生成・初期化する新しい手法である。
ImageNet-1Kの実験では、TLEGはスクラッチからトレーニングされた多くの個別モデルと対照的に、同等またはより良いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2023-12-09T17:01:18Z) - Entropy Transformer Networks: A Learning Approach via Tangent Bundle
Data Manifold [8.893886200299228]
本稿では,CNNアーキテクチャの設計における画像変換の高精度かつ高速なアプローチについて述べる。
データ多様体分布を補間する新しいエントロピーSTN(ESTN)を提案する。
挑戦的なベンチマークの実験は、提案されたESTNがコンピュータビジョンタスクの範囲で予測精度を向上させることを示している。
論文 参考訳(メタデータ) (2023-07-24T04:21:51Z) - Nonlinear Transform Induced Tensor Nuclear Norm for Tensor Completion [12.788874164701785]
我々はNTTNNとPAMアルゴリズムの理論的収束性に沿って低ランクテンソル完備化(LRTC)モデルを提案する。
本手法は,線形変換に基づく最先端核標準(TNN)法よりも質的に,定量的に優れている。
論文 参考訳(メタデータ) (2021-10-17T09:25:37Z) - Weight Vector Tuning and Asymptotic Analysis of Binary Linear
Classifiers [82.5915112474988]
本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。
また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2021-10-01T17:50:46Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳(メタデータ) (2021-03-24T10:50:43Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。