論文の概要: Dual Risk Minimization: Towards Next-Level Robustness in Fine-tuning Zero-Shot Models

• arxiv url: http://arxiv.org/abs/2411.19757v1
• Date: Fri, 29 Nov 2024 15:01:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:43.674545
• Title: Dual Risk Minimization: Towards Next-Level Robustness in Fine-tuning Zero-Shot Models
• Title（参考訳）: 二重リスク最小化:微調整ゼロショットモデルにおける次世代ロバスト性に向けて
• Authors: Kaican Li, Weiyan Xie, Yongxiang Huang, Didan Deng, Lanqing Hong, Zhenguo Li, Ricardo Silva, Nevin L. Zhang,
• Abstract要約: 本稿では、下流タスクのコア機能をよりよく保存するための二重リスク最小化(DRM)を提案する。 DRMは期待されるパフォーマンスと最悪のパフォーマンスのバランスをとり、さまざまな実世界のベンチマークで新たな最先端技術を確立します。
• 参考スコア（独自算出の注目度）: 60.38983114420845
• License:
• Abstract: Fine-tuning foundation models often compromises their robustness to distribution shifts. To remedy this, most robust fine-tuning methods aim to preserve the pre-trained features. However, not all pre-trained features are robust and those methods are largely indifferent to which ones to preserve. We propose dual risk minimization (DRM), which combines empirical risk minimization with worst-case risk minimization, to better preserve the core features of downstream tasks. In particular, we utilize core-feature descriptions generated by LLMs to induce core-based zero-shot predictions which then serve as proxies to estimate the worst-case risk. DRM balances two crucial aspects of model robustness: expected performance and worst-case performance, establishing a new state of the art on various real-world benchmarks. DRM significantly improves the out-of-distribution performance of CLIP ViT-L/14@336 on ImageNet (75.9 to 77.1), WILDS-iWildCam (47.1 to 51.8), and WILDS-FMoW (50.7 to 53.1); opening up new avenues for robust fine-tuning. Our code is available at https://github.com/vaynexie/DRM .
• Abstract（参考訳）: 微調整基礎モデルは、しばしば分布シフトに対する頑丈さを損なう。 これを改善するために、最も堅牢な微調整手法は、事前訓練された特徴を保存することを目的としている。 しかし、事前訓練された全ての機能は堅牢であり、それらの方法はどの機能を保存すべきかにほとんど無関心である。 本稿では,実証的リスク最小化と最悪のリスク最小化を組み合わせた2重リスク最小化(DRM)を提案する。 特に、LLMが生成したコア機能記述を用いて、コアベースのゼロショット予測を誘導し、プロキシとして機能し、最悪のケースリスクを推定する。 DRMは、期待されるパフォーマンスと最悪のパフォーマンスという、モデルの堅牢性の2つの重要な側面のバランスをとる。 DRMは、ImageNet(75.9から77.1)、WILDS-iWildCam(47.1から51.8)、WILDS-FMoW(50.7から53.1)におけるCLIP ViT-L/14@336の配布外性能を大幅に改善し、堅牢な微調整のための新たな道を開く。 私たちのコードはhttps://github.com/vaynexie/DRM で利用可能です。

関連論文リスト

• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Frustratingly Easy Model Generalization by Dummy Risk Minimization [38.67678021055096]
  ダミーリスク最小化(DuRM)は、経験的リスク最小化(ERM)の一般化を改善するための、フラストレーション的に簡単かつ一般的な技術である。 DuRMは、ほぼ無料のランチ方式で、すべてのタスクにおけるパフォーマンスを継続的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-08-04T12:43:54Z)
• Improving Generalization of Adversarial Training via Robust Critical Fine-Tuning [19.91117174405902]
  ディープニューラルネットワークは敵の例に影響を受けやすく、重要なアプリケーションにおいて重大なセキュリティリスクを生じさせる。 本稿では,対向的強靭性を損なうことなく一般化を促進する新しい手法であるロバストネスクリティカルファインタニング(RiFT)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:02:34Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• Meta-Learned Invariant Risk Minimization [12.6484257912092]
  経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:52:48Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。