論文の概要: Text Revealer: Private Text Reconstruction via Model Inversion Attacks against Transformers

• arxiv url: http://arxiv.org/abs/2209.10505v1
• Date: Wed, 21 Sep 2022 17:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 16:07:45.147244
• Title: Text Revealer: Private Text Reconstruction via Model Inversion Attacks against Transformers
• Title（参考訳）: text revealer: トランスフォーマーに対するモデル反転攻撃によるプライベートテキスト再構成
• Authors: Ruisi Zhang, Seira Hidano, Farinaz Koushanfar
• Abstract要約: emphText Revealerを定式化する -- トランスフォーマーを用いたテキスト分類に対するテキスト再構成のための最初のモデル逆転攻撃。 我々の攻撃は、ターゲットモデルへのアクセスにより、トレーニングデータに含まれるプライベートテキストを忠実に再構築する。 実験により,我々の攻撃はテキスト長の異なるデータセットに対して有効であり,正確さでプライベートテキストを再構築できることが実証された。
• 参考スコア（独自算出の注目度）: 22.491785618530397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classification has become widely used in various natural language processing applications like sentiment analysis. Current applications often use large transformer-based language models to classify input texts. However, there is a lack of systematic study on how much private information can be inverted when publishing models. In this paper, we formulate \emph{Text Revealer} -- the first model inversion attack for text reconstruction against text classification with transformers. Our attacks faithfully reconstruct private texts included in training data with access to the target model. We leverage an external dataset and GPT-2 to generate the target domain-like fluent text, and then perturb its hidden state optimally with the feedback from the target model. Our extensive experiments demonstrate that our attacks are effective for datasets with different text lengths and can reconstruct private texts with accuracy.
• Abstract（参考訳）: テキスト分類は感情分析のような様々な自然言語処理アプリケーションで広く使われている。 現在のアプリケーションは入力テキストを分類するために大きなトランスフォーマーベースの言語モデルを使用することが多い。 しかし、モデルを公開する際にどれだけプライベートな情報を反転させることができるかという体系的な研究が欠けている。 本稿では,変換器を用いたテキスト分類に対するテキスト再構成のための最初のモデル逆転攻撃である \emph{Text Revealer} を定式化する。 我々の攻撃は、ターゲットモデルへのアクセスにより、トレーニングデータに含まれるプライベートテキストを忠実に再構築する。 我々は、外部データセットとGPT-2を利用して、ターゲットドメインのような流動的なテキストを生成し、その隠れた状態をターゲットモデルからのフィードバックで最適に摂動する。 広範な実験により,本攻撃はテキスト長の異なるデータセットに対して有効であり,精度良くプライベートテキストを再構築できることを示した。

関連論文リスト

• Leveraging Structure Knowledge and Deep Models for the Detection of Abnormal Handwritten Text [19.05500901000957]
  構造知識と手書きテキストの深層モデルを組み合わせた2段階検出アルゴリズムを提案する。 新たな半教師付きコントラストトレーニング戦略によって訓練された形状回帰ネットワークを導入し、文字間の位置関係を十分に活用する。 2つの手書きテキストデータセットを用いた実験により,提案手法は検出性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2024-10-15T14:57:10Z)
• Text Grouping Adapter: Adapting Pre-trained Text Detector for Layout Analysis [52.34110239735265]
  本稿では,事前学習したテキスト検出装置のレイアウト解析を学習するためのモジュールであるText Grouping Adapter (TGA)を提案する。 我々の総合的な実験は、凍結した事前学習モデルであっても、TGAを様々な事前学習されたテキスト検出器やテキストスポッターに組み込むことで、より優れたレイアウト解析性能が得られることを示した。
  論文  参考訳（メタデータ） (2024-05-13T05:48:35Z)
• TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering [118.30923824681642]
  TextDiffuser-2は、テキストレンダリングのための言語モデルのパワーを解き放つことを目的としている。 拡散モデル内の言語モデルを用いて,行レベルでの位置とテキストを符号化する。 我々は広範な実験を行い、GPT-4Vと同様に、ヒトの参加者を含むユーザスタディを取り入れた。
  論文  参考訳（メタデータ） (2023-11-28T04:02:40Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Specializing Small Language Models towards Complex Style Transfer via Latent Attribute Pre-Training [29.143887057933327]
  複雑なテキストスタイルの転送タスクの概念を導入し、2つの広く適用可能なシナリオに基づいて複雑なテキストデータセットを構築した。 我々のデータセットは、ゲームGenshin Impactの700文と1000文からなる、この種の最初の大規模データセットである。
  論文  参考訳（メタデータ） (2023-09-19T21:01:40Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications [0.02578242050187029]
  本稿では,人工的な研究内容からなる2つのデータセットについて述べる。 第1のケースでは、コンテンツはオリジナルの論文から短いプロンプトを抽出した後、GPT-2モデルで完全に生成される。 部分的あるいはハイブリッドなデータセットは、いくつかの抽象文をArxiv-NLPモデルによって生成される文に置き換えることで生成される。 BLEU や ROUGE などの流速指標を用いて,生成したテキストと整列した原文とを比較し,データセットの品質を評価する。
  論文  参考訳（メタデータ） (2022-02-04T08:16:56Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Data-to-Text Generation with Iterative Text Editing [3.42658286826597]
  本稿では,反復的テキスト編集に基づく新しいデータ・テキスト生成手法を提案する。 まず、自明なテンプレートを用いてデータ項目をテキストに変換し、その後、文融合タスクのために訓練されたニューラルモデルにより結果のテキストを反復的に改善する。 モデルの出力は単純で、既製の事前訓練言語モデルで再帰的にフィルタリングされる。
  論文  参考訳（メタデータ） (2020-11-03T13:32:38Z)
• Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding [80.3811072650087]
  自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。 本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。 AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
  論文  参考訳（メタデータ） (2020-09-07T11:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。