論文の概要: Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification

• arxiv url: http://arxiv.org/abs/2104.08763v1
• Date: Sun, 18 Apr 2021 07:51:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:41:39.777918
• Title: Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification
• Title（参考訳）: 半教師付きテキスト分類のための仮想会話訓練による注意機構の堅牢化と解釈性の向上
• Authors: Shunsuke Kitada, Hitoshi Iyatomi
• Abstract要約: VAT(Virtual Adversarial Training)に基づく注意メカニズムの新たな一般トレーニング手法を提案する。 VATは、従来の研究で報告された注意機構が摂動に弱いという半教師付き設定で、ラベルのないデータから敵の摂動を計算することができる。
• 参考スコア（独自算出の注目度）: 9.13755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new general training technique for attention mechanisms based on virtual adversarial training (VAT). VAT can compute adversarial perturbations from unlabeled data in a semi-supervised setting for the attention mechanisms that have been reported in previous studies to be vulnerable to perturbations. Empirical experiments reveal that our technique (1) provides significantly better prediction performance compared to not only conventional adversarial training-based techniques but also VAT-based techniques in a semi-supervised setting, (2) demonstrates a stronger correlation with the word importance and better agreement with evidence provided by humans, and (3) gains in performance with increasing amounts of unlabeled data.
• Abstract（参考訳）: 仮想敵訓練(virtual adversarial training, vat)に基づくアテンション機構のための新しい一般訓練手法を提案する。 VATは、従来の研究で報告された注意機構が摂動に弱いという半教師付き設定で、ラベルのないデータから敵の摂動を計算することができる。 実験の結果,(1)従来の対向訓練に基づく手法よりも,半教師付き環境でのvatに基づく手法に比べ,予測性能が有意に向上し,(2)人間が提供した証拠との単語重要度と一致度が高まること,(3)ラベルなしデータ量の増加による性能向上が示された。

関連論文リスト

• Adversarial Training: A Survey [130.89534734092388]
  相手トレーニング(英語: Adversarial Training、AT)とは、相手の例をトレーニングプロセスに統合することである。 近年の研究では、様々な敵攻撃に対するディープニューラルネットワークの堅牢性向上におけるATの有効性が実証されている。
  論文  参考訳（メタデータ） (2024-10-19T08:57:35Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision [22.904752492573504]
  本稿では,事前学習インスタンスの信頼性を推定するために,教師付きデータを活用した重み付きコントラスト学習手法を提案する。 3つの教師付きデータセットに対する実験結果から,提案手法の利点が示された。
  論文  参考訳（メタデータ） (2022-05-18T07:45:59Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training [7.106986689736828]
  我々は、自然言語処理タスクのための一般的な訓練手法を提案し、例えば、注意のためのAT(Attention AT)と、注意のためのより解釈可能なAT(Attention iAT)を提案する。 提案手法は,ATによる予測性能とモデル解釈性を改善した。
  論文  参考訳（メタデータ） (2020-09-25T07:26:45Z)
• Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature [2.8881198461098894]
  逆行訓練は、訓練過程における逆行例を含むことにより、モデル性能を改善する技術である。 本稿では,関係抽出作業の便宜を図るために,複数の対角的事例を用いた対角的訓練について検討する。 また,ラベルのないデータを活用するために,半教師付きシナリオに逆トレーニング手法を適用した。
  論文  参考訳（メタデータ） (2020-05-08T20:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。