論文の概要: Unpacking Robustness in Inflectional Languages: Adversarial Evaluation and Mechanistic Insights

• arxiv url: http://arxiv.org/abs/2505.07856v1
• Date: Thu, 08 May 2025 08:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.226525
• Title: Unpacking Robustness in Inflectional Languages: Adversarial Evaluation and Mechanistic Insights
• Title（参考訳）: 屈折言語におけるロバスト性の解き方--逆算的評価と力学的考察
• Authors: Paweł Walkowiak, Marek Klonowski, Marcin Oleksy, Arkadiusz Janz,
• Abstract要約: 我々は、逆行攻撃が屈折言語でどのように作用するかを評価し、説明する。 We use a novel protocol inspired by mechanistic interpretability, based on Edge Attribution Patching (EAP) method。 タスク指向データセットMultiEmoに基づく新しいベンチマークを作成する。
• 参考スコア（独自算出の注目度）: 2.3224139967919974
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Various techniques are used in the generation of adversarial examples, including methods such as TextBugger which introduce minor, hardly visible perturbations to words leading to changes in model behaviour. Another class of techniques involves substituting words with their synonyms in a way that preserves the text's meaning but alters its predicted class, with TextFooler being a prominent example of such attacks. Most adversarial example generation methods are developed and evaluated primarily on non-inflectional languages, typically English. In this work, we evaluate and explain how adversarial attacks perform in inflectional languages. To explain the impact of inflection on model behaviour and its robustness under attack, we designed a novel protocol inspired by mechanistic interpretability, based on Edge Attribution Patching (EAP) method. The proposed evaluation protocol relies on parallel task-specific corpora that include both inflected and syncretic variants of texts in two languages -- Polish and English. To analyse the models and explain the relationship between inflection and adversarial robustness, we create a new benchmark based on task-oriented dataset MultiEmo, enabling the identification of mechanistic inflection-related elements of circuits within the model and analyse their behaviour under attack.
• Abstract（参考訳）: 例えばTextBuggerは、モデル行動の変化につながる単語に小さく、目に見えない摂動を導入する手法である。 別の種類のテクニックは、テキストの意味を保存しながら予測クラスを変更する方法で、同義語で単語を置換することを含み、TextFoolerはそのような攻撃の顕著な例である。 ほとんどの逆例生成法は、主に非屈折言語(典型的には英語)で開発・評価されている。 本研究では, 逆行攻撃が屈折言語でどのように作用するかを, 評価し, 説明する。 モデル動作に対するインフレクションの影響と攻撃時の堅牢性を説明するため,エッジ属性・パッチング(EAP)法に基づく機械的解釈可能性に触発された新しいプロトコルを設計した。 提案した評価プロトコルは、ポーランド語と英語の2つの言語で、文の入力と同期の両方の変種を含む並列タスク固有のコーパスに依存している。 モデルの解析と, 対向ロバスト性の関係を説明するため, タスク指向データセットMultiEmoに基づく新しいベンチマークを作成し, モデル内の回路の機械的インフレクション関連要素を同定し, 攻撃時の動作を分析する。

関連論文リスト

• A Generative Adversarial Attack for Multilingual Text Classifiers [10.993289209465129]
  そこで本稿では,多言語パラフレーズモデルに逆方向の目的を付与する手法を提案する。 トレーニングの目的は、テキストの品質と言語の一貫性を保証するために、事前訓練されたモデルのセットを含む。 2つの多言語データセットと5つの言語に対する実験的な検証により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-01-16T10:14:27Z)
• Context-aware Adversarial Attack on Named Entity Recognition [15.049160192547909]
  本研究では,文脈対応型対向攻撃法について検討し,モデルのロバスト性について検討する。 具体的には、エンティティを認識するために最も情報に富む単語を摂動し、敵の例を作成することを提案する。 実験と分析により,本手法は強いベースラインよりも間違った予測を下すのに有効であることが示された。
  論文  参考訳（メタデータ） (2023-09-16T14:04:23Z)
• Lost In Translation: Generating Adversarial Examples Robust to Round-Trip Translation [66.33340583035374]
  本研究は, ラウンドトリップ翻訳における現在のテキスト対逆攻撃の堅牢性に関する包括的研究である。 筆者らは,現在最先端のテキストベースの6つの敵攻撃が,ラウンドトリップ翻訳後の有効性を維持していないことを実証した。 本稿では,機械翻訳を逆例生成のプロセスに組み込むことにより,この問題に対する介入に基づく解決策を提案する。
  論文  参考訳（メタデータ） (2023-07-24T04:29:43Z)
• TextDefense: Adversarial Text Detection based on Word Importance Entropy [38.632552667871295]
  NLPモデルの新たな逆例検出フレームワークであるTextDefenseを提案する。 実験の結果,TextDefenseは異なるアーキテクチャ,データセット,アタックメソッドに適用可能であることがわかった。 我々はNLPの敵攻撃と防衛方法の原理に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-02-12T11:12:44Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Learning-based Hybrid Local Search for the Hard-label Textual Attack [53.92227690452377]
  我々は,攻撃者が予測ラベルにのみアクセス可能な,滅多に調査されていないが厳格な設定,すなわちハードラベル攻撃を考える。 そこで本研究では,Learning-based Hybrid Local Search (LHLS)アルゴリズムという,新たなハードラベル攻撃を提案する。 我々のLHLSは、攻撃性能と敵の品質に関する既存のハードラベル攻撃を著しく上回っている。
  論文  参考訳（メタデータ） (2022-01-20T14:16:07Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Unsupervised Word Translation Pairing using Refinement based Point Set Registration [8.568050813210823]
  単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。 現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。 本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
  論文  参考訳（メタデータ） (2020-11-26T09:51:29Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。