論文の概要: Consistency Training with Virtual Adversarial Discrete Perturbation

• arxiv url: http://arxiv.org/abs/2104.07284v1
• Date: Thu, 15 Apr 2021 07:49:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 02:40:44.275150
• Title: Consistency Training with Virtual Adversarial Discrete Perturbation
• Title（参考訳）: Virtual Adversarial Discrete Perturbation を用いた一貫性トレーニング
• Authors: Jungsoo Park, Gyuwan Kim, Jaewoo Kang
• Abstract要約: 本稿では,オリジナル入力と摂動入力とが類似するトレーニングモデルの予測を強制する効果的な一貫性トレーニングフレームワークを提案する。 少数のトークンを置き換えることで得られる仮想対向離散ノイズは、トレーニングモデルの決定境界を効率的にプッシュする。
• 参考スコア（独自算出の注目度）: 17.311821099484987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an effective consistency training framework that enforces a training model's predictions given original and perturbed inputs to be similar by adding a discrete noise that would incur the highest divergence between predictions. This virtual adversarial discrete noise obtained by replacing a small portion of tokens while keeping original semantics as much as possible efficiently pushes a training model's decision boundary. Moreover, we perform an iterative refinement process to alleviate the degraded fluency of the perturbed sentence due to the conditional independence assumption. Experimental results show that our proposed method outperforms other consistency training baselines with text editing, paraphrasing, or a continuous noise on semi-supervised text classification tasks and a robustness benchmark.
• Abstract（参考訳）: 本稿では,従来の入力と摂動入力とを併用したトレーニングモデルの予測を,予測の最も高いばらつきを生じさせる離散雑音を付加することにより効果的に整合性トレーニングフレームワークを提案する。 この仮想対向離散ノイズは、少数のトークンを交換し、オリジナルセマンティクスを可能な限り保ちながら、トレーニングモデルの決定境界を効率的に押し付けることによって得られる。 さらに,条件付き独立性仮定による摂動文のゆらぎを緩和するための反復的改良処理を行う。 提案手法は, 半教師付きテキスト分類タスクやロバスト性ベンチマークにおいて, テキスト編集, パラフラージング, 連続雑音を伴う他の一貫性トレーニングベースラインよりも優れることを示す。

関連論文リスト

• Certified $\ell_2$ Attribution Robustness via Uniformly Smoothed Attributions [20.487079380753876]
  本研究では,ある空間から一様にサンプリングされた雑音によってバニラ属性を増大させる一様平滑化手法を提案する。 攻撃領域内の全ての摂動に対して、摂動試料の均一なスムーズな属性と非摂動試料とのコサイン類似性を低くすることが保証された。
  論文  参考訳（メタデータ） (2024-05-10T09:56:02Z)
• Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task [14.707646721729228]
  現実的な対話システムでは、ユーザからの入力情報は様々な種類の入力摂動の対象となることが多い。 本研究では,ノイズアライメント事前学習による摂動ロバスト統合フレームワークであるNoss-BERTを提案する。 本フレームワークは,2つのノイズアライメント事前学習タスクを組み込んでいる。
  論文  参考訳（メタデータ） (2024-02-22T12:39:50Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Robust Imitation Learning from Corrupted Demonstrations [15.872598211059403]
  一定の数のデータがノイズあるいは任意の外れ値となるような、破損したデモからオフラインのImitation Learningを考える。 本稿では,ポリシーの正確な推定を保証するMOM(Median-of-Means)目標を最小化する,新しいロバストなアルゴリズムを提案する。 連続制御ベンチマーク実験により,提案手法が予測されたロバスト性および有効性を示すことを確認した。
  論文  参考訳（メタデータ） (2022-01-29T14:21:28Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Robust Imitation Learning from Noisy Demonstrations [81.67837507534001]
  我々は,対称的損失を伴う分類リスクを最適化することにより,ロバストな模倣学習を実現することができることを示す。 擬似ラベルと協調学習を効果的に組み合わせた新しい模倣学習法を提案する。 連続制御ベンチマークによる実験結果から,本手法は最先端手法よりも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T10:41:37Z)
• Improved Noise and Attack Robustness for Semantic Segmentation by Using Multi-Task Training with Self-Supervised Depth Estimation [39.99513327031499]
  本研究では,ラベルなしビデオ上での自己教師付き単眼深度推定により,教師付きセマンティックセマンティックセグメンテーションを拡張するマルチタスクトレーニングによるロバストネスの向上を提案する。 提案手法の有効性をCityscapesデータセットで示し,マルチタスクトレーニングアプローチが単一タスクセマンティックセグメンテーションベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-23T11:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。