論文の概要: LLsM: Generative Linguistic Steganography with Large Language Model

• arxiv url: http://arxiv.org/abs/2401.15656v2
• Date: Tue, 6 Feb 2024 14:55:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 19:03:04.980684
• Title: LLsM: Generative Linguistic Steganography with Large Language Model
• Title（参考訳）: LLsM:大規模言語モデルを用いた言語ステレオグラフィ
• Authors: Yihao Wang and Ruiqi Song and Ru Zhang and Jianyi Liu and Lingxiao Li
• Abstract要約: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。 本稿では,Large Language Model (LLM) を用いた最初のLSである LLsM を提案する。 実験の結果, LLsMはテキスト品質, 統計解析, 談話マッチング, アンチステガナリシスに関して, LS-taskおよび関連タスクベースラインよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 11.503978748679495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linguistic Steganography (LS) tasks aim to generate steganographic text (stego) based on secret information. Only authorized recipients can perceive the existence of secrets in the texts and extract them, thereby preserving privacy. However, the controllability of the stego generated by existing schemes is poor, and the stego is difficult to contain specific discourse characteristics such as style. As a result, the stego is easily detectable, compromising covert communication. To address these problems, this paper proposes LLsM, the first LS with the Large Language Model (LLM). We fine-tuned the LLaMA2 with a large-scale constructed dataset encompassing rich discourse characteristics, which enables the fine-tuned LLM to generate texts with specific discourse in a controllable manner. Then the discourse is used as guiding information and inputted into the fine-tuned LLM in the form of the Prompt together with secret. On this basis, the constructed candidate pool will be range encoded and use secret to determine the interval. The same prefix of this interval's beginning and ending is the secret embedded at this moment. Experiments show that LLsM performs superior to prevalent LS-task and related-task baselines regarding text quality, statistical analysis, discourse matching, and anti-steganalysis. In particular, LLsM's MAUVE matric surpasses some baselines by 70%-80%, and its anti-steganalysis performance is 30%-40% higher. Notably, we also present examples of longer stegos generated by LLsM, showing its potential superiority in long LS tasks.
• Abstract（参考訳）: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。 認証を受けた受取人だけが、テキスト内の秘密の存在を認識し、それらを抽出することで、プライバシーを保護できる。 しかし,既存のスキームが生成するステゴの制御性は乏しく,スタイルなどの特定の談話の特徴を包含することは困難である。 その結果、ステゴは容易に検出でき、カバート通信を妥協する。 本稿では,Large Language Model (LLM) を用いた最初のLSである LLsM を提案する。 我々は,高度な談話特性を包含する大規模構築データセットを用いてllama2の微調整を行った。 そして、この談話を案内情報として使用し、秘密とともにプロンプトの形式で微調整LDMに入力する。 このベースで構築された候補プールはレンジエンコードされ、シークレットを使用して間隔を決定する。 この区間の始まりと終わりの同じ接頭辞は、この瞬間に埋め込まれた秘密である。 実験の結果, LLsMはテキスト品質, 統計解析, 談話マッチング, アンチステガナシスに関して, LS-taskおよび関連タスクベースラインよりも優れていた。 特に、llsmのmave matricは、いくつかのベースラインを70%-80%上回っており、その反ステグアナリティクス性能は30%-40%高い。 また、LLsMにより生成される長長のステゴの例を示し、長長のLSタスクにおいてその潜在的な優位性を示す。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Contextualized Sequence Likelihood: Enhanced Confidence Scores for Natural Language Generation [37.63939774027709]
  種々のトークンに異なる重みを割り当てることで予測シーケンス確率を向上させることを提案する。 我々はこの新しいスコアを文脈化シーケンス類似度(CSL)と呼ぶ。
  論文  参考訳（メタデータ） (2024-06-03T21:55:07Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)
• Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
  本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。 ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。 ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
  論文  参考訳（メタデータ） (2023-02-17T02:40:04Z)
• Hiding Images in Deep Probabilistic Models [58.23127414572098]
  我々は、画像の深い確率モデルに隠蔽するための異なる計算フレームワークについて述べる。 具体的には、DNNを用いて、カバー画像の確率密度をモデル化し、学習した分布の特定の場所に秘密画像を隠す。 我々は,抽出精度とモデルセキュリティの観点から,SinGANアプローチの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-10-05T13:33:25Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• Autoregressive Linguistic Steganography Based on BERT and Consistency Coding [17.881686153284267]
  言語ステガノグラフィ(LS)は、秘密情報をテキストに埋め込むことによって、コミュニケーションの存在を隠蔽する。 近年のアルゴリズムでは、言語モデル(LM)を用いてステガノグラフテキストを生成する。 本稿では,BERTと整合性符号化に基づく自己回帰型LSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-26T02:36:55Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。