論文の概要: LLsM: Generative Linguistic Steganography with Large Language Model

• arxiv url: http://arxiv.org/abs/2401.15656v3
• Date: Mon, 8 Apr 2024 03:50:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 01:26:28.371993
• Title: LLsM: Generative Linguistic Steganography with Large Language Model
• Title（参考訳）: LLsM:大規模言語モデルを用いた言語ステレオグラフィ
• Authors: Yihao Wang, Ruiqi Song, Ru Zhang, Jianyi Liu, Lingxiao Li,
• Abstract要約: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。 既存のLS法は、特定の言説を含むステゴの制御可能な生成を考慮していない。 本稿では,Large Language Model (LLM) を用いた最初のLSである LLsM を提案する。
• 参考スコア（独自算出の注目度）: 10.72286166021398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linguistic Steganography (LS) tasks aim to generate steganographic text (stego) based on secret information. Only authorized recipients can perceive the existence of the stegos and extract secrets, thereby preserving privacy. However, existing LS methods do not consider the controllable generation of stegos containing specific discourses such as style, genre, and theme. And they are difficult to simulate high-quality natural texts. As a result, the stegos are easily perceived and detectable, compromising covert communication. This paper proposes the LLsM, the first LS work with the Large Language Model (LLM). Regarding open-source LLMs, we reconstruct the token generator of LLM to the "stego generator" so that it can control the generation of stego based on the secret. In this "stego generator", the candidate pool is encoded by range coding, and the adjustment factor for the interval length is also given. The secret determines the interval, thereby determining the next token. This better simulates the distribution of natural texts and controls the adjustment of the embedding rate. In addition, we preliminarily built an LLsM-c architecture for closed-source LLMs. It encodes discourse to obtain high-quality prompts containing discourse based on secrets, and generates pure natural texts containing discourse. Experiments show that LLsM performs superior to prevalent LS and related-task baselines regarding various kinds of concealment and anti-steganalysis. LLsM's MAUVE surpasses baselines by 60%-80% and anti-steganalysis exceeds baselines by 20%-30%. Notably, LLsM can also generate longer stegos with high quality, showing its advantages in understanding and coherence.
• Abstract（参考訳）: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。 認証を受けた受取人だけがステゴスの存在を認識でき、秘密を抽出できるため、プライバシーを保護できる。 しかし、既存のLS手法では、スタイル、ジャンル、テーマといった特定の言説を含むステゴの制御可能な生成を考慮していない。 そして、高品質な自然文をシミュレートすることは困難である。 その結果、ステゴは容易に認識され、検出でき、包括的コミュニケーションを損なう。 本稿では,Large Language Model (LLM) を用いた最初のLSであるLLsMを提案する。 オープンソース LLM について,我々は LLM のトークンジェネレータを "ステゴジェネレータ" に再構成し,シークレットに基づいてステゴ生成を制御する。 この「ステゴ発生器」では、候補プールをレンジ符号化により符号化し、間隔長の調整係数も付与する。 シークレットはインターバルを決定し、次のトークンを決定する。 これにより、自然なテキストの分布をシミュレートし、埋め込み率の調整を制御することができる。 さらに,我々はLLsM-cアーキテクチャをクローズドソースLLM向けにプリミティブに構築した。 会話を符号化し、秘密に基づく会話を含む高品質なプロンプトを取得し、会話を含む純粋な自然文を生成する。 LLsMは各種の隠蔽および抗ステガナシスに関して、LSおよび関連タスクベースラインよりも優れた性能を示した。 LLsMのMAUVEは基準線を60%-80%超、ステガナリシスは基準線を20%-30%超えた。 特に、LLsMは高品質で長いステゴを生成でき、その利点は理解と一貫性にある。

関連論文リスト

• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Contextualized Sequence Likelihood: Enhanced Confidence Scores for Natural Language Generation [37.63939774027709]
  種々のトークンに異なる重みを割り当てることで予測シーケンス確率を向上させることを提案する。 我々はこの新しいスコアを文脈化シーケンス類似度(CSL)と呼ぶ。
  論文  参考訳（メタデータ） (2024-06-03T21:55:07Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
  サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。 そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。 SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
  論文  参考訳（メタデータ） (2024-03-26T09:25:57Z)
• Uncertainty-aware Self-training for Low-resource Neural Sequence Labeling [29.744621356187764]
  本稿では,ニューラルシークエンスラベリング(NSL)のための新しい未知の自己学習フレームワークSeqUSTを提案する。 ベイジアンニューラルネットワーク(BNN)にモンテカルロ(MC)ドロップアウトを組み込んでトークンレベルで不確実性評価を行い、ラベルのないデータから信頼性の高い言語トークンを選択する。 ノイズロスのあるマスク付きシークエンスラベリングタスクは、ノイズのある擬似ラベルの問題を抑えることを目的とした堅牢なトレーニングを支援する。
  論文  参考訳（メタデータ） (2023-02-17T02:40:04Z)
• Hiding Images in Deep Probabilistic Models [58.23127414572098]
  我々は、画像の深い確率モデルに隠蔽するための異なる計算フレームワークについて述べる。 具体的には、DNNを用いて、カバー画像の確率密度をモデル化し、学習した分布の特定の場所に秘密画像を隠す。 我々は,抽出精度とモデルセキュリティの観点から,SinGANアプローチの実現可能性を示す。
  論文  参考訳（メタデータ） (2022-10-05T13:33:25Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• Autoregressive Linguistic Steganography Based on BERT and Consistency Coding [17.881686153284267]
  言語ステガノグラフィ(LS)は、秘密情報をテキストに埋め込むことによって、コミュニケーションの存在を隠蔽する。 近年のアルゴリズムでは、言語モデル(LM)を用いてステガノグラフテキストを生成する。 本稿では,BERTと整合性符号化に基づく自己回帰型LSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-26T02:36:55Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。