論文の概要: Enhance Robustness of Language Models Against Variation Attack through Graph Integration

• arxiv url: http://arxiv.org/abs/2404.12014v1
• Date: Thu, 18 Apr 2024 09:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:51:17.629931
• Title: Enhance Robustness of Language Models Against Variation Attack through Graph Integration
• Title（参考訳）: グラフ統合による変分攻撃に対する言語モデルのロバスト性向上
• Authors: Zi Xiong, Lizhi Qing, Yangyang Kang, Jiawei Liu, Hongsong Li, Changlong Sun, Xiaozhong Liu, Wei Lu,
• Abstract要約: 文字変動攻撃に対する言語モデルのロバスト性を高めるための新しい手法であるCHINese vAriatioN Graph Enhancementを提案する。 CHANGE は PLM の逆操作テキストの解釈を本質的に強化する。 多数のNLPタスクで実施された実験は、CHANGEが敵の攻撃と戦う際に、現在の言語モデルより優れていることを示している。
• 参考スコア（独自算出の注目度）: 28.291064456532517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of pre-trained language models (PLMs) in natural language processing (NLP) has greatly improved performance outcomes. However, these models' vulnerability to adversarial attacks (e.g., camouflaged hints from drug dealers), particularly in the Chinese language with its rich character diversity/variation and complex structures, hatches vital apprehension. In this study, we propose a novel method, CHinese vAriatioN Graph Enhancement (CHANGE), to increase the robustness of PLMs against character variation attacks in Chinese content. CHANGE presents a novel approach for incorporating a Chinese character variation graph into the PLMs. Through designing different supplementary tasks utilizing the graph structure, CHANGE essentially enhances PLMs' interpretation of adversarially manipulated text. Experiments conducted in a multitude of NLP tasks show that CHANGE outperforms current language models in combating against adversarial attacks and serves as a valuable contribution to robust language model research. These findings contribute to the groundwork on robust language models and highlight the substantial potential of graph-guided pre-training strategies for real-world applications.
• Abstract（参考訳）: 自然言語処理(NLP)における事前学習言語モデル(PLM)の普及により、性能が大幅に向上した。 しかし、これらのモデルが敵対的攻撃に対する脆弱性(例えば、麻薬ディーラーからのヒントを偽造するなど)は、特に中国語では、その多様性と多様性と複雑な構造が豊富であり、致命的な理解を欠いている。 本研究では,中国コンテンツにおける文字変動攻撃に対するPLMのロバスト性を高めるため,CHANGE(Chenese vAriatioN Graph Enhancement)を提案する。 CHANGEは漢字変化グラフをPLMに組み込む新しい手法を提案する。 グラフ構造を利用した様々な補足タスクを設計することで、CHANGEは本質的に PLM の逆操作されたテキストの解釈を強化する。 多数のNLPタスクで実施された実験は、CHANGEが敵の攻撃と戦う際に現在の言語モデルよりも優れており、堅牢な言語モデル研究に重要な貢献をすることを示している。 これらの知見は、ロバスト言語モデルの基礎研究に寄与し、実世界のアプリケーションのためのグラフ誘導事前学習戦略のかなりの可能性を強調している。

関連論文リスト

• Formality Style Transfer in Persian [1.03590082373586]
  本稿では,Fa-BERTアーキテクチャに基づく新しいモデルFa-BERT2BERTを紹介し,一貫性学習と勾配に基づく動的重み付けを取り入れた。 その結果, BLEU, BERTスコア, Rouge-lなど, さまざまな指標において, 従来の手法よりも優れた性能を示し, ペルシャ語スタイル転送の複雑さを十分にナビゲートできることを示す指標が提案された。
  論文  参考訳（メタデータ） (2024-06-02T20:57:27Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Evaluating Concurrent Robustness of Language Models Across Diverse Challenge Sets [46.19529338280716]
  言語モデルはブラックボックスの性質が特徴で、しばしば幻覚を呈し、入力の摂動に敏感である。 入力摂動が言語モデルにどう影響するかを,様々な尺度で検討する手法を提案する。 複数の摂動に対するロバスト性に対処するための3つの異なる微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-15T02:59:10Z)
• ViLTA: Enhancing Vision-Language Pre-training through Textual Augmentation [35.05755930636518]
  画像とテキストのペア間の微細な表現をより容易に学習するための2つのコンポーネントからなるViLTAを提案する。 Masked Language Modeling (MLM) では,モデルの堅牢性を高めるために,ソフトラベルを生成するクロス蒸留法を提案する。 画像テキストマッチング(ITM)では、現在の言語エンコーダを利用して、言語入力のコンテキストに基づいてハードネガティブを合成する。
  論文  参考訳（メタデータ） (2023-08-31T12:46:36Z)
• Expanding Scope: Adapting English Adversarial Attacks to Chinese [11.032727439758661]
  本稿では,SOTA攻撃アルゴリズムを中国語に適応させる方法について検討する。 実験の結果,これまで英語NLPに適用されていた攻撃手法は,中国語で高品質な敵の例を生成できることがわかった。 さらに, 生成した逆数例が高頻度でセマンティック一貫性が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-08T02:07:49Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• Cross-lingual Transferring of Pre-trained Contextualized Language Models [73.97131976850424]
  本稿では,PRLMのための新しい言語間モデル転送フレームワークTreLMを提案する。 シンボルの順序と言語間のシーケンス長の差に対処するため,中間的なTRILayer構造を提案する。 提案手法は,スクラッチから学習した言語モデルに対して,性能と効率の両面で,限られたデータで著しく優れることを示す。
  論文  参考訳（メタデータ） (2021-07-27T06:51:13Z)
• Contextualized Perturbation for Textual Adversarial Attack [56.370304308573274]
  逆例は自然言語処理(NLP)モデルの脆弱性を明らかにする。 本稿では,フロートおよび文法的出力を生成するContextualized AdversaRial Example生成モデルであるCLAREを提案する。
  論文  参考訳（メタデータ） (2020-09-16T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。