論文の概要: Balancing Robustness and Sensitivity using Feature Contrastive Learning

• arxiv url: http://arxiv.org/abs/2105.09394v1
• Date: Wed, 19 May 2021 20:53:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 00:16:38.748135
• Title: Balancing Robustness and Sensitivity using Feature Contrastive Learning
• Title（参考訳）: 特徴コントラスト学習によるロバスト性と感度のバランス
• Authors: Seungyeon Kim, Daniel Glasner, Srikumar Ramalingam, Cho-Jui Hsieh, Kishore Papineni, Sanjiv Kumar
• Abstract要約: 堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
• 参考スコア（独自算出の注目度）: 95.86909855412601
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is generally believed that robust training of extremely large networks is critical to their success in real-world applications. However, when taken to the extreme, methods that promote robustness can hurt the model's sensitivity to rare or underrepresented patterns. In this paper, we discuss this trade-off between sensitivity and robustness to natural (non-adversarial) perturbations by introducing two notions: contextual feature utility and contextual feature sensitivity. We propose Feature Contrastive Learning (FCL) that encourages a model to be more sensitive to the features that have higher contextual utility. Empirical results demonstrate that models trained with FCL achieve a better balance of robustness and sensitivity, leading to improved generalization in the presence of noise on both vision and NLP datasets.
• Abstract（参考訳）: 一般に、非常に大きなネットワークの堅牢なトレーニングは、実世界のアプリケーションでの成功に不可欠であると考えられている。 しかし、極端に考えると、ロバスト性を促進する手法は、稀なパターンや過小表現パターンに対するモデルの感度を損なう可能性がある。 本稿では、文脈的特徴ユーティリティと文脈的特徴感度という2つの概念を導入することにより、自然(非敵対的)摂動に対する感度と頑健さのトレードオフについて論じる。 本稿では,コンテクストユーティリティの高い機能に対して,モデルがより敏感になるよう促す機能コントラスト学習(fcl)を提案する。 実験により、FCLで訓練されたモデルは、堅牢性と感度のバランスが良くなり、視覚とNLPデータセットの両方にノイズが存在することが一般化された。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
  本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。 提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
  論文  参考訳（メタデータ） (2024-02-16T03:30:27Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection [0.0]
  解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。 標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
  論文  参考訳（メタデータ） (2023-07-04T13:51:55Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Improving Interpretability via Regularization of Neural Activation Sensitivity [20.407987149443997]
  最先端のディープニューラルネットワーク(DNN)は多くの現実世界のタスクに取り組むのに非常に効果的である。 彼らは敵対的な攻撃を受けやすく、その不透明さはユーザーのアウトプットに対する信頼を損なう。 ニューラルアクティベーション感度の正規化に基づくDNNの解釈性向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T05:40:29Z)
• Disentangled Text Representation Learning with Information-Theoretic Perspective for Adversarial Robustness [17.5771010094384]
  敵の脆弱性は信頼性の高いNLPシステムを構築する上で大きな障害である。 最近の研究は、モデルの敵意的な脆弱性は教師あり訓練における非破壊的な特徴によって引き起こされると主張している。 本稿では,不整合表現学習の観点から,敵対的課題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T18:14:39Z)
• Causally Estimating the Sensitivity of Neural NLP Models to Spurious Features [19.770032728328733]
  NLPにおける異なる形態の突発性特徴の効果を評価・比較する手段はない。 我々は,CENTと呼ばれる因果推定値を用いて,刺激性特徴に対するモデル感度を定量化する。 感度と頑健性の間に統計的に有意な逆相関が見られ、仮説を実証的に支持する。
  論文  参考訳（メタデータ） (2021-10-14T05:26:08Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。