論文の概要: De-Anonymizing Text by Fingerprinting Language Generation
- arxiv url: http://arxiv.org/abs/2006.09615v2
- Date: Tue, 3 Nov 2020 04:47:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 20:09:16.604414
- Title: De-Anonymizing Text by Fingerprinting Language Generation
- Title(参考訳): フィンガープリント言語生成によるテキストの匿名化
- Authors: Zhen Sun, Roei Schuster, Vitaly Shmatikov
- Abstract要約: 攻撃者が適切なサイドチャネルを介してこれらの指紋を計測することで、タイプテキストを推測する方法を示す。
この攻撃は匿名のテキストを匿名化したり、防衛について議論したりするのに役立ちます。
- 参考スコア(独自算出の注目度): 24.09735516192663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Components of machine learning systems are not (yet) perceived as security
hotspots. Secure coding practices, such as ensuring that no execution paths
depend on confidential inputs, have not yet been adopted by ML developers. We
initiate the study of code security of ML systems by investigating how nucleus
sampling---a popular approach for generating text, used for applications such
as auto-completion---unwittingly leaks texts typed by users. Our main result is
that the series of nucleus sizes for many natural English word sequences is a
unique fingerprint. We then show how an attacker can infer typed text by
measuring these fingerprints via a suitable side channel (e.g., cache access
times), explain how this attack could help de-anonymize anonymous texts, and
discuss defenses.
- Abstract(参考訳): 機械学習システムのコンポーネントは、セキュリティホットスポットとして認識されていません。
実行パスが秘密入力に依存しないことを保証するようなセキュアなコーディングプラクティスは、まだML開発者には採用されていない。
自動補完などのアプリケーションで使われるテキスト生成の一般的なアプローチである核サンプリングが,ユーザが入力したテキストを無意識に漏洩させることで,MLシステムのコードセキュリティに関する研究を開始する。
我々の主な成果は、多くの英単語列の核サイズがユニークな指紋であることである。
次に、攻撃者が適切なサイドチャネル(例えばキャッシュアクセス時間)を介してこれらの指紋を計測することで、型付きテキストを推論する方法を示し、この攻撃が匿名テキストの匿名化を助長し、防御について議論する方法について説明する。
関連論文リスト
- OrderBkd: Textual backdoor attack through repositioning [0.0]
サードパーティのデータセットと事前トレーニングされた機械学習モデルは、NLPシステムに脅威をもたらす。
既存のバックドア攻撃は、トークンの挿入や文のパラフレーズなどのデータサンプルを毒殺する。
これまでの研究との大きな違いは、文中の2つの単語の配置をトリガーとして使うことです。
論文 参考訳(メタデータ) (2024-02-12T14:53:37Z) - Punctuation Matters! Stealthy Backdoor Attack for Language Models [36.91297828347229]
バックドアモデルは、テキスト上で不適切に実行しながら、クリーンなサンプルに対して正常な出力を生成する。
いくつかの攻撃方法は文法的な問題を引き起こしたり、元のテキストの意味を変更したりする。
我々は,textbfPuncAttackと呼ばれる,テキストモデルに対する新たなステルスバックドア攻撃手法を提案する。
論文 参考訳(メタデータ) (2023-12-26T03:26:20Z) - Reverse-Engineering Decoding Strategies Given Blackbox Access to a
Language Generation System [73.52878118434147]
テキスト生成に使用する復号法をリバースエンジニアリングする手法を提案する。
どのようなデコード戦略が使われたかを検出する能力は、生成されたテキストを検出することに影響を及ぼす。
論文 参考訳(メタデータ) (2023-09-09T18:19:47Z) - Deepfake Text Detection in the Wild [51.07597090941853]
近年の大規模言語モデルの発展により、人間のものと同等のレベルのテキスト生成が可能になった。
これらのモデルは、ニュース記事の執筆、ストーリー生成、科学的な執筆など、幅広いコンテンツにまたがる強力な能力を示している。
このような機能は、人間によるテキストと機械によるテキストのギャップをさらに狭め、ディープフェイクテキスト検出の重要性を強調している。
論文 参考訳(メタデータ) (2023-05-22T17:13:29Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Unsupervised Deep Keyphrase Generation [14.544869226959612]
keyphrase生成は、長い文書を敬語句のコレクションにまとめることを目的としている。
ディープニューラルモデルは、このタスクにおいて顕著な成功を示し、文書から欠落するキーフレーズを予測することができる。
キーフレーズ生成のための新しい手法であるAutoKeyGenについて,人間のアノテーションを介さずに提示する。
論文 参考訳(メタデータ) (2021-04-18T05:53:19Z) - Adversarial Watermarking Transformer: Towards Tracing Text Provenance
with Data Hiding [80.3811072650087]
自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。
本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。
AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
論文 参考訳(メタデータ) (2020-09-07T11:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。