Fugu-MT 論文翻訳(概要): Pre-training also Transfers Non-Robustness

論文の概要: Pre-training also Transfers Non-Robustness

arxiv url: http://arxiv.org/abs/2106.10989v1
Date: Mon, 21 Jun 2021 11:16:13 GMT
ステータス: 処理完了
システム内更新日: 2021-06-22 15:58:12.568269
Title: Pre-training also Transfers Non-Robustness
Title（参考訳）: 事前トレーニングは非ロバスト性も伝達する
Authors: Jiaming Zhang, Jitao Sang, Qi Yi, Huiwen Dong, Jian Yu
Abstract要約: 一般化への貢献が認められているにもかかわらず、事前学習は、事前訓練されたモデルから微調整されたモデルへの非破壊性も伝達する。その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。
参考スコア（独自算出の注目度）: 20.226917627173126
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pre-training has enabled many state-of-the-art results on many tasks. In spite of its recognized contribution to generalization, we observed in this study that pre-training also transfers the non-robustness from pre-trained model into the fine-tuned model. Using image classification as an example, we first conducted experiments on various datasets and network backbones to explore the factors influencing robustness. Further analysis is conducted on examining the difference between the fine-tuned model and standard model to uncover the reason leading to the non-robustness transfer. Finally, we introduce a simple robust pre-training solution by regularizing the difference between target and source tasks. Results validate the effectiveness in alleviating non-robustness and preserving generalization.
Abstract（参考訳）: 事前トレーニングによって、多くのタスクで最先端の成果が得られました。一般化への貢献は認められているが,本研究では,事前学習は事前学習モデルから微調整モデルへの非ロバスト性も伝達することを示した。画像分類を例として,まず各種データセットとネットワークバックボーンの実験を行い,ロバスト性に影響を与える要因について検討した。さらに, 微調整モデルと標準モデルの違いを調べた結果, 非破壊性移行の原因を明らかにすることができた。最後に,ターゲットタスクとソースタスクの違いを定式化することにより,ロバストな事前学習ソリューションを提案する。その結果, 損耗を緩和し, 一般化を保ち, 有効性を検証した。

関連論文リスト

Refining 3D Point Cloud Normal Estimation via Sample Selection [13.207964615561261]
我々は,グローバルな情報と様々な制約機構を組み込むことにより,正規推定の基本的枠組みを導入し,既存モデルを拡張した。また,非オブジェクト指向タスクと非オブジェクト指向タスクの両方における最先端性能を達成し,推定された非オブジェクト指向の正規性を補正するために,既存の配向手法を利用する。
論文参考訳（メタデータ） (2024-05-20T02:06:10Z)
On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
論文参考訳（メタデータ） (2024-03-11T16:23:42Z)
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation [7.432224771219168]
Pretrain-finetuneパラダイムは、通常、同じタスクでモデルをスクラッチからトレーニングするよりも、下流のパフォーマンスを改善する。本研究では,事前学習した視覚変換器とそれに対応する微調整バージョンとの関係を,複数のベンチマークデータセットとタスクで検討する。
論文参考訳（メタデータ） (2023-07-12T08:35:24Z)
On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文参考訳（メタデータ） (2023-05-20T16:23:50Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。ここでは、バイアスドモデルが機能をショートカットする、という前提がある。本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
論文参考訳（メタデータ） (2023-02-06T15:21:41Z)
Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文参考訳（メタデータ） (2022-09-30T02:25:12Z)
Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
論文参考訳（メタデータ） (2022-09-14T21:09:34Z)
On Transfer of Adversarial Robustness from Pretraining to Downstream Tasks [1.8900691517352295]
下流タスクにおける線形予測子のロバスト性は、その基盤となる表現のロバスト性によって制約できることを示す。本結果は,適応後の信頼性向上のために,表現関数の要求を特徴付けるための最初のステップを提供する。
論文参考訳（メタデータ） (2022-08-07T23:00:40Z)
MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文参考訳（メタデータ） (2021-10-18T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。