論文の概要: LLsM: Generative Linguistic Steganography with Large Language Model
- arxiv url: http://arxiv.org/abs/2401.15656v2
- Date: Tue, 6 Feb 2024 14:55:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:03:04.980684
- Title: LLsM: Generative Linguistic Steganography with Large Language Model
- Title(参考訳): LLsM:大規模言語モデルを用いた言語ステレオグラフィ
- Authors: Yihao Wang and Ruiqi Song and Ru Zhang and Jianyi Liu and Lingxiao Li
- Abstract要約: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。
本稿では,Large Language Model (LLM) を用いた最初のLSである LLsM を提案する。
実験の結果, LLsMはテキスト品質, 統計解析, 談話マッチング, アンチステガナリシスに関して, LS-taskおよび関連タスクベースラインよりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 11.503978748679495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linguistic Steganography (LS) tasks aim to generate steganographic text
(stego) based on secret information. Only authorized recipients can perceive
the existence of secrets in the texts and extract them, thereby preserving
privacy. However, the controllability of the stego generated by existing
schemes is poor, and the stego is difficult to contain specific discourse
characteristics such as style. As a result, the stego is easily detectable,
compromising covert communication. To address these problems, this paper
proposes LLsM, the first LS with the Large Language Model (LLM). We fine-tuned
the LLaMA2 with a large-scale constructed dataset encompassing rich discourse
characteristics, which enables the fine-tuned LLM to generate texts with
specific discourse in a controllable manner. Then the discourse is used as
guiding information and inputted into the fine-tuned LLM in the form of the
Prompt together with secret. On this basis, the constructed candidate pool will
be range encoded and use secret to determine the interval. The same prefix of
this interval's beginning and ending is the secret embedded at this moment.
Experiments show that LLsM performs superior to prevalent LS-task and
related-task baselines regarding text quality, statistical analysis, discourse
matching, and anti-steganalysis. In particular, LLsM's MAUVE matric surpasses
some baselines by 70%-80%, and its anti-steganalysis performance is 30%-40%
higher. Notably, we also present examples of longer stegos generated by LLsM,
showing its potential superiority in long LS tasks.
- Abstract(参考訳): 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。
認証を受けた受取人だけが、テキスト内の秘密の存在を認識し、それらを抽出することで、プライバシーを保護できる。
しかし,既存のスキームが生成するステゴの制御性は乏しく,スタイルなどの特定の談話の特徴を包含することは困難である。
その結果、ステゴは容易に検出でき、カバート通信を妥協する。
本稿では,Large Language Model (LLM) を用いた最初のLSである LLsM を提案する。
我々は,高度な談話特性を包含する大規模構築データセットを用いてllama2の微調整を行った。
そして、この談話を案内情報として使用し、秘密とともにプロンプトの形式で微調整LDMに入力する。
このベースで構築された候補プールはレンジエンコードされ、シークレットを使用して間隔を決定する。
この区間の始まりと終わりの同じ接頭辞は、この瞬間に埋め込まれた秘密である。
実験の結果, LLsMはテキスト品質, 統計解析, 談話マッチング, アンチステガナシスに関して, LS-taskおよび関連タスクベースラインよりも優れていた。
特に、llsmのmave matricは、いくつかのベースラインを70%-80%上回っており、その反ステグアナリティクス性能は30%-40%高い。
また、LLsMにより生成される長長のステゴの例を示し、長長のLSタスクにおいてその潜在的な優位性を示す。
関連論文リスト
- Found in the Middle: How Language Models Use Long Contexts Better via
Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。
(Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。
LLMはコンテキストの中央に位置する関連情報を扱う。
論文 参考訳(メタデータ) (2024-03-05T04:58:37Z) - Tree-Based Hard Attention with Self-Motivation for Large Language Models [7.2677650379517775]
大きな言語モデル(LLM)は、平易なテキストの理解と生成に優れる。
階層的なテキスト構造を扱うように特別に調整されていない。
本稿では,大規模言語モデルのための自己モチベーションを用いた木ベースハードアテンションという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-14T00:40:51Z) - Beware of Words: Evaluating the Lexical Richness of Conversational Large
Language Models [3.0059120458540383]
対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。
その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
論文 参考訳(メタデータ) (2024-02-11T13:41:17Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Are Large Language Models Temporally Grounded? [38.481606493496514]
文章を記述したLarge Language Model (LLM) を提供する。
イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。
これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
論文 参考訳(メタデータ) (2023-11-14T18:57:15Z) - Can Text-based Knowledge Graph Completion Benefit From Zero-Shot Large
Language Models? [10.56565195524981]
大規模言語モデル(LLM)は、NLPタスクにおいて顕著に改善されている。
本研究では,より効率的なテキスト記述がモデル性能を増幅できるかどうかを考察する。
論文 参考訳(メタデータ) (2023-10-12T12:31:23Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Semantic-Preserving Linguistic Steganography by Pivot Translation and
Semantic-Aware Bins Coding [45.13432859384438]
言語ステガノグラフィ(LS)は、秘密情報を隠蔽通信のための高度に符号化されたテキストに埋め込むことを目的としている。
そこで本研究では,2つの異なる言語間をピボットすることで,与えられたテキストを修正する新しいLS法を提案する。
論文 参考訳(メタデータ) (2022-03-08T01:35:05Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。