論文の概要: Constrained Optimization with Dynamic Bound-scaling for Effective NLPBackdoor Defense

• arxiv url: http://arxiv.org/abs/2202.05749v1
• Date: Fri, 11 Feb 2022 16:40:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-14 19:03:12.148110
• Title: Constrained Optimization with Dynamic Bound-scaling for Effective NLPBackdoor Defense
• Title（参考訳）: 動的境界スケーリングによる効率的なNLPバックドアディフェンスのための制約付き最適化
• Authors: Guangyu Shen, Yingqi Liu, Guanhong Tao, Qiuling Xu, Zhuo Zhang, Shengwei An, Shiqing Ma, Xiangyu Zhang
• Abstract要約: NLPバックドアインバージョンのための新しい最適化手法を開発した。 本研究では, ソフトマックス関数の温度係数を動的に低減し, 損失景観の変化に寄与し, プロセスが徐々に真実の引き金に焦点を合わせるようにした。 また,NLPトリガのインバージョンにおいて,局所最適値が容易にデターマイニング可能であるという観測を生かして,局所最適値から離れるための温度ロールバック機構も備えている。
• 参考スコア（独自算出の注目度）: 26.92159282124214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a novel optimization method for NLPbackdoor inversion. We leverage a dynamically reducing temperature coefficient in the softmax function to provide changing loss landscapes to the optimizer such that the process gradually focuses on the ground truth trigger, which is denoted as a one-hot value in a convex hull. Our method also features a temperature rollback mechanism to step away from local optimals, exploiting the observation that local optimals can be easily deter-mined in NLP trigger inversion (while not in general optimization). We evaluate the technique on over 1600 models (with roughly half of them having injected backdoors) on 3 prevailing NLP tasks, with 4 different backdoor attacks and 7 architectures. Our results show that the technique is able to effectively and efficiently detect and remove backdoors, outperforming 4 baseline methods.
• Abstract（参考訳）: NLPバックドアインバージョンのための新しい最適化手法を開発した。 本研究では,ソフトマックス関数の温度係数を動的に低減し,コンベックス内の1ホット値として表される接地真理トリガに徐々に集中するように最適化器に損失景観を変化させる。 また,NLPトリガのインバージョンでは局所最適値のデターマイニングが容易に可能である(一般最適化では行われないが)という観測を生かして,局所最適値から離れるための温度ロールバック機構も備えている。 3つのNLPタスクに対して,1600以上のモデル(約半数がバックドアを注入した)で4つの異なるバックドアアタックと7つのアーキテクチャを用いて評価を行った。 提案手法は, バックドアを効果的かつ効率的に検出し, 除去し, 4つのベースライン法より優れていることを示す。

関連論文リスト

• Enhancing Zeroth-order Fine-tuning for Language Models with Low-rank Structures [21.18741772731095]
  ゼロ階数(ZO)アルゴリズムは、関数値の有限差を用いて勾配を近似することで、有望な代替手段を提供する。 既存のZO法は、LLM微調整で一般的な低ランク勾配構造を捉えるのに苦労し、準最適性能をもたらす。 本稿では,LLMにおけるこの構造を効果的に捕捉する低ランクZOアルゴリズム(LOZO)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:10:53Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks [48.089501687522954]
  ディープニューラルネットワーク(DNN)のための新しい層適応型重み決定手法を提案する。 我々のアプローチは、レイヤ適応型プルーニングスキームを設計するためのすべてのレイヤの集団的影響を考慮に入れている。 我々の実験は、ImageNetとCIFAR-10データセット上の既存の手法よりも、我々のアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-21T03:22:47Z)
• Using Differential Evolution to avoid local minima in Variational Quantum Algorithms [0.0]
  変分量子アルゴリズム(VQA)は、量子コンピューティングを利用する最も有望なNISQ時代のアルゴリズムの一つである。 本研究の目的は,局所的ミニマ問題や大理石高原問題の影響を回避・低減できる代替最適化手法を検討することである。
  論文  参考訳（メタデータ） (2023-03-21T20:31:06Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。