論文の概要: Autoregressive Linguistic Steganography Based on BERT and Consistency Coding

• arxiv url: http://arxiv.org/abs/2203.13972v1
• Date: Sat, 26 Mar 2022 02:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 16:08:03.278943
• Title: Autoregressive Linguistic Steganography Based on BERT and Consistency Coding
• Title（参考訳）: BERTと一貫性符号化に基づく自己回帰言語ステレオグラフィ
• Authors: Xiaoyan Zheng and Hanzhou Wu
• Abstract要約: 言語ステガノグラフィ(LS)は、秘密情報をテキストに埋め込むことによって、コミュニケーションの存在を隠蔽する。 近年のアルゴリズムでは、言語モデル(LM)を用いてステガノグラフテキストを生成する。 本稿では,BERTと整合性符号化に基づく自己回帰型LSアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 17.881686153284267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linguistic steganography (LS) conceals the presence of communication by embedding secret information into a text. How to generate a high-quality text carrying secret information is a key problem. With the widespread application of deep learning in natural language processing, recent algorithms use a language model (LM) to generate the steganographic text, which provides a higher payload compared with many previous arts. However, the security still needs to be enhanced. To tackle with this problem, we propose a novel autoregressive LS algorithm based on BERT and consistency coding, which achieves a better trade-off between embedding payload and system security. In the proposed work, based on the introduction of the masked LM, given a text, we use consistency coding to make up for the shortcomings of block coding used in the previous work so that we can encode arbitrary-size candidate token set and take advantages of the probability distribution for information hiding. The masked positions to be embedded are filled with tokens determined by an autoregressive manner to enhance the connection between contexts and therefore maintain the quality of the text. Experimental results have shown that, compared with related works, the proposed work improves the fluency of the steganographic text while guaranteeing security, and also increases the embedding payload to a certain extent.
• Abstract（参考訳）: 言語性ステガノグラフィー(ls)は、秘密情報をテキストに埋め込むことでコミュニケーションの存在を隠蔽する。 機密情報を含む高品質テキストの生成方法が重要な問題である。 自然言語処理におけるディープラーニングの広範な応用により、近年のアルゴリズムは、言語モデル(LM)を使用して、ステガノグラフテキストを生成する。 しかし、セキュリティは引き続き強化される必要がある。 そこで本研究では,組み込みペイロードとシステムセキュリティのトレードオフを改善するために,bertと一貫性符号化に基づく自己回帰型lsアルゴリズムを提案する。 提案手法では,テキストが与えられたとき,マスキングlmの導入に基づき,先行研究で使用されるブロック符号化の欠点を補うために一貫性符号化を用いて任意のサイズの候補トークン集合を符号化し,情報隠蔽のための確率分布の利点を生かす。 埋め込むマスクされた位置は自己回帰的な方法で決定されたトークンで満たされ、コンテキスト間の接続を高め、したがってテキストの品質を維持する。 実験の結果,本研究は関連する作品と比較して,セキュリティを保証しつつステガノグラフィーテキストの流動性を向上し,埋め込みペイロードをある程度増加させることが示されている。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
  大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。 既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。 テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
  論文  参考訳（メタデータ） (2023-07-29T14:11:15Z)
• Revisiting the Roles of "Text" in Text Games [102.22750109468652]
  本稿では,強化学習におけるテキストの役割について検討する。 本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。 このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T21:52:39Z)
• Privacy-Preserving Text Classification on BERT Embeddings with Homomorphic Encryption [23.010346603025255]
  準同型暗号に基づく埋め込みの民営化機構を提案する。 本稿では,BERTの埋め込みを暗号化して保護する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T21:46:02Z)
• ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
  CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。 文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。 我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2022-08-16T11:17:22Z)
• Semantic-Preserving Linguistic Steganography by Pivot Translation and Semantic-Aware Bins Coding [45.13432859384438]
  言語ステガノグラフィ(LS)は、秘密情報を隠蔽通信のための高度に符号化されたテキストに埋め込むことを目的としている。 そこで本研究では,2つの異なる言語間をピボットすることで,与えられたテキストを修正する新しいLS法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:35:05Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)
• TEDL: A Text Encryption Method Based on Deep Learning [10.428079716944463]
  本稿では,TEDLと呼ばれる深層学習に基づく新しいテキスト暗号化手法を提案する。 実験および関連する分析の結果、TEDLはセキュリティ、効率、汎用性に優れ、キー再配布頻度の低いことが示されている。
  論文  参考訳（メタデータ） (2020-03-09T11:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。