論文の概要: Robustness Reprogramming for Representation Learning

• arxiv url: http://arxiv.org/abs/2410.04577v1
• Date: Sun, 6 Oct 2024 18:19:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 06:36:17.328973
• Title: Robustness Reprogramming for Representation Learning
• Title（参考訳）: 表現学習のためのロバストネスプログラミング
• Authors: Zhichao Hou, MohamadAli Torkamani, Hamid Krim, Xiaorui Liu,
• Abstract要約: 十分に訓練されたディープラーニングモデルを考えると、パラメータを変更することなく、対向的あるいはノイズの多い入力摂動に対する堅牢性を高めるために再プログラムできるだろうか? 本稿では,新しい非線形ロバストパターンマッチング手法を提案する。
• 参考スコア（独自算出の注目度）: 18.466637575445024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work tackles an intriguing and fundamental open challenge in representation learning: Given a well-trained deep learning model, can it be reprogrammed to enhance its robustness against adversarial or noisy input perturbations without altering its parameters? To explore this, we revisit the core feature transformation mechanism in representation learning and propose a novel non-linear robust pattern matching technique as a robust alternative. Furthermore, we introduce three model reprogramming paradigms to offer flexible control of robustness under different efficiency requirements. Comprehensive experiments and ablation studies across diverse learning models ranging from basic linear model and MLPs to shallow and modern deep ConvNets demonstrate the effectiveness of our approaches. This work not only opens a promising and orthogonal direction for improving adversarial defenses in deep learning beyond existing methods but also provides new insights into designing more resilient AI systems with robust statistics.
• Abstract（参考訳）: この研究は、表現学習における興味深い、そして基本的なオープンな課題に取り組みます。 十分に訓練されたディープラーニングモデルが与えられたら、そのパラメータを変更することなく、敵対的または騒々しい入力摂動に対する堅牢性を高めるために、再プログラムできますか? そこで我々は,表現学習における中核的特徴変換機構を再考し,ロバストな代替手段として,新しい非線形ロバストパターンマッチング手法を提案する。 さらに、3つのモデル再プログラミングパラダイムを導入し、異なる効率要件下で頑健さを柔軟に制御する。 基本線形モデルやMLPから浅層・近代的なConvNetまで,多様な学習モデルを対象とした総合的な実験とアブレーション研究は,我々のアプローチの有効性を実証している。 この作業は、既存の手法を越えてディープラーニングにおける敵防衛を改善するための有望で直交的な方向を開くだけでなく、堅牢な統計を持つよりレジリエントなAIシステムを設計するための新たな洞察を提供する。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Unlearning Backdoor Attacks through Gradient-Based Model Pruning [10.801476967873173]
  本研究では,その軽減を未学習課題として扱うことによって,バックドア攻撃に対抗する新しい手法を提案する。 このアプローチは単純さと有効性を提供し、データ可用性に制限のあるシナリオに適しています。
  論文  参考訳（メタデータ） (2024-05-07T00:36:56Z)
• Continual Learning with Weight Interpolation [4.689826327213979]
  継続的な学習には、モデルが以前のタスクからの知識を維持しながら、新しいタスクに適応する必要がある。 本稿では,重み強化手法を用いた継続学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-05T10:25:40Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent Structure Learning [20.506232306308977]
  潜在構造モデルは、言語データをモデリングするための強力なツールである。 これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。 下流学習目標を引き上げる角度から潜在構造学習を探索する。
  論文  参考訳（メタデータ） (2020-10-05T21:56:00Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
  本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。 我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
  論文  参考訳（メタデータ） (2020-04-02T20:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。