論文の概要: A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias

• arxiv url: http://arxiv.org/abs/2303.13500v1
• Date: Thu, 23 Mar 2023 17:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 12:54:13.288016
• Title: A Closer Look at Model Adaptation using Feature Distortion and Simplicity Bias
• Title（参考訳）: 特徴歪みと単純さバイアスを用いたモデル適応の検討
• Authors: Puja Trivedi, Danai Koutra, Jayaraman J. Thiagarajan
• Abstract要約: 適応プロトコルの簡易バイアス(SB)に対する感受性について検討する。 SBは近年、ロバストな一般化においていくつかの問題を解くことが示されている。 我々は,SBを緩和する改良線形プローブを提案する。
• 参考スコア（独自算出の注目度）: 33.24980750651318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in the expressivity of pretrained models have increased interest in the design of adaptation protocols which enable safe and effective transfer learning. Going beyond conventional linear probing (LP) and fine tuning (FT) strategies, protocols that can effectively control feature distortion, i.e., the failure to update features orthogonal to the in-distribution, have been found to achieve improved out-of-distribution generalization (OOD). In order to limit this distortion, the LP+FT protocol, which first learns a linear probe and then uses this initialization for subsequent FT, was proposed. However, in this paper, we find when adaptation protocols (LP, FT, LP+FT) are also evaluated on a variety of safety objectives (e.g., calibration, robustness, etc.), a complementary perspective to feature distortion is helpful to explain protocol behavior. To this end, we study the susceptibility of protocols to simplicity bias (SB), i.e. the well-known propensity of deep neural networks to rely upon simple features, as SB has recently been shown to underlie several problems in robust generalization. Using a synthetic dataset, we demonstrate the susceptibility of existing protocols to SB. Given the strong effectiveness of LP+FT, we then propose modified linear probes that help mitigate SB, and lead to better initializations for subsequent FT. We verify the effectiveness of the proposed LP+FT variants for decreasing SB in a controlled setting, and their ability to improve OOD generalization and safety on three adaptation datasets.
• Abstract（参考訳）: 事前学習モデルの表現性の向上は、安全かつ効果的な転送学習を可能にする適応プロトコルの設計への関心を高めている。 従来のリニアプロビング (lp) とファインチューニング (ft) の戦略を超越して, 特徴歪みを効果的に制御できるプロトコル, 即ち, 特徴の更新に失敗し, 分散一般化 (ood) が改善されることが知られている。 この歪みを制限するために、まず線形プローブを学習し、次にこの初期化をFTに使用するLP+FTプロトコルが提案された。 しかし,本論文では,適応プロトコル (lp, ft, lp+ft) が様々な安全性目標(キャリブレーション, ロバスト性など)で評価された場合, 特徴歪みに対する補完的視点がプロトコルの挙動を説明する上で有用であることを示す。 そこで本稿では,SBが高機能化においていくつかの課題を解決していることから,深層ニューラルネットワークが単純な特徴に依存しているという,SB(Protocol to Simple bias)に対するプロトコルの受容性について検討する。 合成データセットを用いて,既存のプロトコルのSBへの感受性を示す。 LP+FTの強い有効性を考えると、SBを緩和し、その後のFTのより優れた初期化を導出する修正線形プローブを提案する。 提案するlp+ft変種による制御されたsbの低減効果と,3つの適応データセットにおけるood一般化と安全性の向上効果を検証した。

関連論文リスト

• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood [14.512464277772194]
  Aligned Supervised Fine-Tuning (ASFT)は、大規模言語モデルとペアワイズデータセットの整合性を改善する効果的なアプローチである。 ASFTは、DPO損失関数が人間の不適切なデータを生成する確率を減少させる問題を緩和する。 大規模な実験により、ASFTは効果的なアライメントアプローチであり、既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-14T11:39:13Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Beyond Imitation: Leveraging Fine-grained Quality Signals for Alignment [105.34140537748546]
  我々はFIGAという改良されたアライメント手法を提案し、従来の手法とは異なり、良質な応答と悪質な応答の対比から導出されるきめ細かい品質信号を取り込む。 まず、初期応答とそれに対応する修正データセットをペアリングする精巧なアライメントデータセットをキュレートする。 第2に,LLMの微粒な品質信号を利用してアライメントの学習を指導する新たな損失関数を考案する。
  論文  参考訳（メタデータ） (2023-11-07T15:36:40Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Exploring the Design of Adaptation Protocols for Improved Generalization and Machine Learning Safety [33.24980750651318]
  分散シフトと機械学習の安全性指標の共通適応プロトコルを評価する。 プロトコルが事前評価から明らかでない異種のトレードオフを引き起こすことが判明した。 LP中の硬度促進剤の使用と、強化したFTの使用は、特にトレードオフ緩和に有効である可能性がある。
  論文  参考訳（メタデータ） (2022-07-26T02:33:04Z)
• Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
  コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。 非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。 また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
  論文  参考訳（メタデータ） (2020-04-11T03:50:59Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。