論文の概要: SMAB: MAB based word Sensitivity Estimation Framework and its Applications in Adversarial Text Generation
- arxiv url: http://arxiv.org/abs/2502.07101v1
- Date: Mon, 10 Feb 2025 22:46:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:08:16.333346
- Title: SMAB: MAB based word Sensitivity Estimation Framework and its Applications in Adversarial Text Generation
- Title（参考訳）: SMAB:MABに基づく単語感性推定フレームワークとその逆テキスト生成への応用
- Authors: Saurabh Kumar Pandey, Sachin Vashistha, Debrup Das, Somak Aditya, Monojit Choudhury,
- Abstract要約: 単語レベルの局所(文レベル)とグローバル(集約)の感性を計算するために,感性に基づく多言語帯域幅フレームワーク(SMAB)を導入する。
このアルゴリズムは直感的に高感度かつ低感度な単語をキャプチャする。
また,ゴールドデータがない場合,感度が精度の指標となることを示す。
- 参考スコア（独自算出の注目度）: 10.111657705438654
- License:
- Abstract: To understand the complexity of sequence classification tasks, Hahn et al. (2021) proposed sensitivity as the number of disjoint subsets of the input sequence that can each be individually changed to change the output. Though effective, calculating sensitivity at scale using this framework is costly because of exponential time complexity. Therefore, we introduce a Sensitivity-based Multi-Armed Bandit framework (SMAB), which provides a scalable approach for calculating word-level local (sentence-level) and global (aggregated) sensitivities concerning an underlying text classifier for any dataset. We establish the effectiveness of our approach through various applications. We perform a case study on CHECKLIST generated sentiment analysis dataset where we show that our algorithm indeed captures intuitively high and low-sensitive words. Through experiments on multiple tasks and languages, we show that sensitivity can serve as a proxy for accuracy in the absence of gold data. Lastly, we show that guiding perturbation prompts using sensitivity values in adversarial example generation improves attack success rate by 15.58%, whereas using sensitivity as an additional reward in adversarial paraphrase generation gives a 12.00% improvement over SOTA approaches. Warning: Contains potentially offensive content.
- Abstract（参考訳）: シーケンス分類タスクの複雑さを理解するため、Hahn et al (2021) は入力シーケンスの非結合部分集合の数として感度を提案し、それぞれを個別に変更して出力を変更することができる。
有効ではあるが、このフレームワークを使用したスケールでの感度の計算は指数時間的複雑さのためにコストがかかる。
そこで,感性に基づくMulti-Armed Bandit framework (SMAB)を導入し,任意のデータセットに対する下位テキスト分類器に関する単語レベルの局所(文レベル)とグローバル(集約)の感性を計算するスケーラブルなアプローチを提案する。
我々は様々な応用を通してアプローチの有効性を確立する。
我々はCHECKLISTが生成した感情分析データセットのケーススタディを行い、このアルゴリズムが直感的に高感度で低感度な単語をキャプチャすることを示した。
複数のタスクや言語の実験を通して、感度がゴールドデータがない場合の精度の指標となることを示す。
最後に, 誘導摂動は攻撃成功率を15.58%向上させるのに対し, 逆転パラフレーズ生成の付加報酬としての感度はSOTAアプローチよりも12.00%向上することを示す。
警告: 潜在的に攻撃的なコンテンツを含む。
関連論文リスト
- Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。
すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
論文 参考訳（メタデータ） (2024-06-09T08:11:12Z) - Does DetectGPT Fully Utilize Perturbation? Bridging Selective Perturbation to Fine-tuned Contrastive Learning Detector would be Better [21.901523394933076]
選択的摂動の対照的な学習により,新しい微調整検出器Pecolaを提案する。
実験の結果、ペコラは4つの公開データセットで平均1.20%の精度で最先端のSOTA(State-of-the-art)を上回っている。
論文 参考訳（メタデータ） (2024-02-01T01:23:07Z) - How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳（メタデータ） (2023-11-13T10:52:01Z) - Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。
まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。
SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
論文 参考訳（メタデータ） (2023-06-01T19:04:17Z) - RaSa: Relation and Sensitivity Aware Representation Learning for
Text-based Person Search [51.09723403468361]
関係性と感性を考慮した表現学習法(RaSa)を提案する。
RaSaにはリレーショナル・アウェア・ラーニング(RA)と感性・アウェア・ラーニング(SA)という2つの新しいタスクが含まれている。
実験によると、RaSaは既存の最先端メソッドを6.94%、4.45%、および15.35%で上回っている。
論文 参考訳（メタデータ） (2023-05-23T03:53:57Z) - Language Model Classifier Aligns Better with Physician Word Sensitivity
than XGBoost on Readmission Prediction [86.15787587540132]
語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。
本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
論文 参考訳（メタデータ） (2022-11-13T23:59:11Z) - On the Relation between Sensitivity and Accuracy in In-context Learning [41.27837171531926]
インコンテキスト学習(ICL)はプロンプトに対する過敏性に悩まされており、現実のシナリオでは信頼性が低い。
複数の摂動型に対するICLの感度について検討した。
センシティブな予測を無視する数ショット選択予測法であるtextscSenSel を提案する。
論文 参考訳（メタデータ） (2022-09-16T00:52:34Z) - Learning Disentangled Textual Representations via Statistical Measures
of Similarity [35.74568888409149]
トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。
我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
論文 参考訳（メタデータ） (2022-05-07T08:06:22Z) - Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。
そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。
我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
論文 参考訳（メタデータ） (2022-01-20T14:16:07Z) - Sensitivity as a Complexity Measure for Sequence Classification Tasks [24.246784593571626]
標準のシーケンス分類法は低感度関数の学習に偏っているため、高感度を必要とするタスクがより困難である。
15のNLPタスクで感度を推定し、単純なテキスト分類タスクよりもGLUEで収集された挑戦的なタスクで感度が高いことを発見した。
論文 参考訳（メタデータ） (2021-04-21T03:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。