論文の概要: A Closer Look at Model Adaptation using Feature Distortion and
Simplicity Bias
- arxiv url: http://arxiv.org/abs/2303.13500v1
- Date: Thu, 23 Mar 2023 17:57:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 12:54:13.288016
- Title: A Closer Look at Model Adaptation using Feature Distortion and
Simplicity Bias
- Title(参考訳): 特徴歪みと単純さバイアスを用いたモデル適応の検討
- Authors: Puja Trivedi, Danai Koutra, Jayaraman J. Thiagarajan
- Abstract要約: 適応プロトコルの簡易バイアス(SB)に対する感受性について検討する。
SBは近年、ロバストな一般化においていくつかの問題を解くことが示されている。
我々は,SBを緩和する改良線形プローブを提案する。
- 参考スコア(独自算出の注目度): 33.24980750651318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in the expressivity of pretrained models have increased interest in
the design of adaptation protocols which enable safe and effective transfer
learning. Going beyond conventional linear probing (LP) and fine tuning (FT)
strategies, protocols that can effectively control feature distortion, i.e.,
the failure to update features orthogonal to the in-distribution, have been
found to achieve improved out-of-distribution generalization (OOD). In order to
limit this distortion, the LP+FT protocol, which first learns a linear probe
and then uses this initialization for subsequent FT, was proposed. However, in
this paper, we find when adaptation protocols (LP, FT, LP+FT) are also
evaluated on a variety of safety objectives (e.g., calibration, robustness,
etc.), a complementary perspective to feature distortion is helpful to explain
protocol behavior. To this end, we study the susceptibility of protocols to
simplicity bias (SB), i.e. the well-known propensity of deep neural networks to
rely upon simple features, as SB has recently been shown to underlie several
problems in robust generalization. Using a synthetic dataset, we demonstrate
the susceptibility of existing protocols to SB. Given the strong effectiveness
of LP+FT, we then propose modified linear probes that help mitigate SB, and
lead to better initializations for subsequent FT. We verify the effectiveness
of the proposed LP+FT variants for decreasing SB in a controlled setting, and
their ability to improve OOD generalization and safety on three adaptation
datasets.
- Abstract(参考訳): 事前学習モデルの表現性の向上は、安全かつ効果的な転送学習を可能にする適応プロトコルの設計への関心を高めている。
従来のリニアプロビング (lp) とファインチューニング (ft) の戦略を超越して, 特徴歪みを効果的に制御できるプロトコル, 即ち, 特徴の更新に失敗し, 分散一般化 (ood) が改善されることが知られている。
この歪みを制限するために、まず線形プローブを学習し、次にこの初期化をFTに使用するLP+FTプロトコルが提案された。
しかし,本論文では,適応プロトコル (lp, ft, lp+ft) が様々な安全性目標(キャリブレーション, ロバスト性など)で評価された場合, 特徴歪みに対する補完的視点がプロトコルの挙動を説明する上で有用であることを示す。
そこで本稿では,SBが高機能化においていくつかの課題を解決していることから,深層ニューラルネットワークが単純な特徴に依存しているという,SB(Protocol to Simple bias)に対するプロトコルの受容性について検討する。
合成データセットを用いて,既存のプロトコルのSBへの感受性を示す。
LP+FTの強い有効性を考えると、SBを緩和し、その後のFTのより優れた初期化を導出する修正線形プローブを提案する。
提案するlp+ft変種による制御されたsbの低減効果と,3つの適応データセットにおけるood一般化と安全性の向上効果を検証した。
関連論文リスト
- Sparse is Enough in Fine-tuning Pre-trained Large Language Model [105.63770797908127]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳(メタデータ) (2023-12-19T06:06:30Z) - Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [113.01510055986694]
我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。
まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。
第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
論文 参考訳(メタデータ) (2023-11-07T15:36:40Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。
残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。
本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
論文 参考訳(メタデータ) (2022-12-15T05:09:11Z) - Exploring the Design of Adaptation Protocols for Improved Generalization
and Machine Learning Safety [33.24980750651318]
分散シフトと機械学習の安全性指標の共通適応プロトコルを評価する。
プロトコルが事前評価から明らかでない異種のトレードオフを引き起こすことが判明した。
LP中の硬度促進剤の使用と、強化したFTの使用は、特にトレードオフ緩和に有効である可能性がある。
論文 参考訳(メタデータ) (2022-07-26T02:33:04Z) - Latency Adjustable Transformer Encoder for Language Understanding [0.9790236766474201]
本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。
提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。
提案手法は,BERTベースとGPT-2の推論遅延を最大4.8倍,3.72倍に改善し,0.75%の精度低下と平均パープレキシティが得られた。
論文 参考訳(メタデータ) (2022-01-10T13:04:39Z) - Backpropagation-Free Learning Method for Correlated Fuzzy Neural
Networks [2.1320960069210475]
本稿では,所望の前提部品の出力を推定し,段階的に学習する手法を提案する。
前提部品のパラメータを学習するために出力エラーをバックプロパゲートする必要はない。
実世界の時系列予測と回帰問題に適用できる。
論文 参考訳(メタデータ) (2020-11-25T20:56:05Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳(メタデータ) (2020-04-11T03:50:59Z) - Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。
上記のプロパティをすべて享受する既存のメソッドはありません。
本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文 参考訳(メタデータ) (2020-02-25T15:12:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。