論文の概要: Robust Weight Signatures: Gaining Robustness as Easy as Patching Weights?

• arxiv url: http://arxiv.org/abs/2302.12480v1
• Date: Fri, 24 Feb 2023 06:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 14:23:45.465814
• Title: Robust Weight Signatures: Gaining Robustness as Easy as Patching Weights?
• Title（参考訳）: ロバストウェイトシグネチャ:ウェイトのパッチングと同じくらいロバスト性を得ること?
• Authors: Ruisi Cai, Zhenyu Zhang, Zhangyang Wang
• Abstract要約: 一つのタイプの分散シフトに対して回復力を持つように訓練されたロバストモデルを考えると、モデルの重みに「ロバスト性」がエンコードされているのはなぜか? クリーンデータでトレーニングされたモデルと事前抽出したRWSを併用した,最小限のモデルロバスト性「パッチング」フレームワークを提案する。 このように、モデルにある種のロバスト性を注入すると、対応するRWSをその重みに直接追加する。
• 参考スコア（独自算出の注目度）: 81.77457373726736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a robust model trained to be resilient to one or multiple types of distribution shifts (e.g., natural image corruptions), how is that "robustness" encoded in the model weights, and how easily can it be disentangled and/or "zero-shot" transferred to some other models? This paper empirically suggests a surprisingly simple answer: linearly - by straightforward model weight arithmetic! We start by drawing several key observations: (1)assuming that we train the same model architecture on both a clean dataset and its corrupted version, resultant weights mostly differ in shallow layers; (2)the weight difference after projection, which we call "Robust Weight Signature" (RWS), appears to be discriminative and indicative of different corruption types; (3)for the same corruption type, the RWSs obtained by one model architecture are highly consistent and transferable across different datasets. We propose a minimalistic model robustness "patching" framework that carries a model trained on clean data together with its pre-extracted RWSs. In this way, injecting certain robustness to the model is reduced to directly adding the corresponding RWS to its weight. We verify our proposed framework to be remarkably (1)lightweight. since RWSs concentrate on the shallowest few layers and we further show they can be painlessly quantized, storing an RWS is up to 13 x more compact than storing the full weight copy; (2)in-situ adjustable. RWSs can be appended as needed and later taken off to restore the intact clean model. We further demonstrate one can linearly re-scale the RWS to control the patched robustness strength; (3)composable. Multiple RWSs can be added simultaneously to patch more comprehensive robustness at once; and (4)transferable. Even when the clean model backbone is continually adapted or updated, RWSs remain as effective patches due to their outstanding cross-dataset transferability.
• Abstract（参考訳）: ひとつのあるいは複数の分散シフト(例えば、自然画像の破損)に対して回復力を持つように訓練された堅牢なモデルを考えると、モデルの重みにコード化された「ロバスト性」と、他のモデルにどの程度簡単に切り離され、/または「ゼロショット」に転送できるか? この論文は、驚くほど単純な答えを実証的に示唆している。 We start by drawing several key observations: (1)assuming that we train the same model architecture on both a clean dataset and its corrupted version, resultant weights mostly differ in shallow layers; (2)the weight difference after projection, which we call "Robust Weight Signature" (RWS), appears to be discriminative and indicative of different corruption types; (3)for the same corruption type, the RWSs obtained by one model architecture are highly consistent and transferable across different datasets. クリーンデータでトレーニングされたモデルと事前抽出したRWSを併用した,最小限のモデルロバスト性「パッチング」フレームワークを提案する。 このように、モデルにある種のロバスト性を注入すると、対応するRWSをその重みに直接追加する。 提案するフレームワークは,(1)軽量であることを示す。 RWSは最も浅いいくつかの層に集中しており、さらに痛みなく定量化できることが示されるので、RWSの保存は、全重量コピーを格納するよりも最大13倍コンパクトである。 RWSは必要に応じて追加することができ、その後、無傷でクリーンなモデルを復元するために取り除かれる。 さらに、RWSを線形に再スケールして、パッチされたロバスト性強度を制御することを実証する。 複数のRWSを同時に追加して、より包括的な堅牢性を同時にパッチすることができる。 クリーンモデルバックボーンが継続的に適応されたり更新されたりしても、rwssは優れたクロスデータセット転送性のため、有効なパッチとして残されている。

関連論文リスト

• Efficient and Versatile Robust Fine-Tuning of Zero-shot Models [34.27380518351181]
  本稿では、下流タスクにゼロショットモデルを微調整する新しい手法であるRobust Adapter(R-Adapter)を紹介する。 本手法は, 軽量モジュールを事前学習モデルに統合し, OODロバスト性を高め, 保存コストを大幅に削減するために, 新たな自己アンサンブル技術を用いる。 実験により,R-Adapterは,CLIPエンコーダのパラメータの13%をチューニングし,タスクのさまざまなセットで最先端のパフォーマンスを実現することを確認した。
  論文  参考訳（メタデータ） (2024-08-11T11:37:43Z)
• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Verifix: Post-Training Correction to Improve Label Noise Robustness with Verified Samples [9.91998873101083]
  トレーニング後の補正は、初期訓練後のモデルパラメータを調整し、ラベルノイズを軽減する。 Verifixは、小さな検証済みのデータセットを利用して、1回の更新でモデルの重みを補正する新しいアルゴリズムである。 25%の合成汚職を伴うCIFARデータセットの実験では、平均して7.36%の一般化改善が見られた。
  論文  参考訳（メタデータ） (2024-03-13T15:32:08Z)
• Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts [22.74552390076515]
  種々のバックボーンと事前学習セットを持つ16の頑健なゼロショットCLIPビジョンエンコーダの表現空間を探索する。 頑健なゼロショットCLIPビジョンエンコーダにおいて、オフリー機能の存在を検知し、これらが非トランスフォーマーモデルで観測されるのはこれが初めてである。 我々は、モデルにおけるImageNetシフトのロバスト性を示すために、外部機能が存在することを発見した。
  論文  参考訳（メタデータ） (2023-10-19T17:59:12Z)
• Less is More: On the Feature Redundancy of Pretrained Models When Transferring to Few-shot Tasks [120.23328563831704]
  事前訓練されたモデルを下流タスクに転送することは、ターゲットデータと線形探索を行うのと同じくらい簡単である。 線形探索では, 下流データが少ない場合に, 事前学習した特徴が極めて冗長であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T19:00:49Z)
• RoMa: Robust Dense Feature Matching [17.015362716393216]
  特徴マッチングは、3Dシーンの2つの画像間の対応を推定する重要なコンピュータビジョンタスクである。 基礎モデルであるDINOv2の凍結事前学習機能を利用するモデルを提案する。 頑健性をさらに向上するために, 整列型トランスフォーマーマッチングデコーダを提案する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:04Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• Knockoffs-SPR: Clean Sample Selection in Learning with Noisy Labels [56.81761908354718]
  雑音ラベルを用いた学習のための,理論的に保証されたクリーンサンプル選択フレームワークを提案する。 Knockoffs-SPRは、標準的な教師付きトレーニングパイプラインのサンプル選択モジュールと見なすことができる。 さらに、ラベルなしデータとしてノイズデータのサポートを利用する半教師付きアルゴリズムと組み合わせる。
  論文  参考訳（メタデータ） (2023-01-02T07:13:28Z)
• FlexiViT: One Model for All Patch Sizes [100.52574011880571]
  ビジョントランスフォーマーは、それらをパッチにスライスすることで、画像をシーケンスに変換する。 これらのパッチのサイズは速度/精度のトレードオフを制御し、より小さなパッチはより高い計算コストで高い精度に繋がる。 トレーニング時にパッチサイズをランダムにすると、一組の重み付けが発生し、広範囲のパッチサイズでうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。