論文の概要: LLsM: Generative Linguistic Steganography with Large Language Model
- arxiv url: http://arxiv.org/abs/2401.15656v1
- Date: Sun, 28 Jan 2024 13:21:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:02:23.482702
- Title: LLsM: Generative Linguistic Steganography with Large Language Model
- Title(参考訳): LLsM:大規模言語モデルを用いた言語ステレオグラフィ
- Authors: Yihao Wang and Ruiqi Song and Ru Zhang and Jianyi Liu and Lingxiao Li
- Abstract要約: 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。
本稿では,Large Language Model(LLM)に基づくジェネレーティブLSであるLLsMという新しいスキームを提案する。
実験により、LLsMはテキストの品質、統計分析、談話マッチング、アンチステガナリシスに関する一般的なベースラインよりも優れていることが示された。
- 参考スコア(独自算出の注目度): 11.503978748679495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linguistic Steganography (LS) tasks aim to generate steganographic texts
(stego) based on secret information. Only authorized recipients can perceive
the existence of secret information in the texts and accurately extract it,
thereby preserving privacy. However, the controllability of the stego generated
by existing schemes is poor, and the generated stego is difficult to contain
specific discourse characteristics such as style, genre, and theme. As a
result, the stego are often easily detectable, compromising covert
communication. To address these problems, this paper proposes a novel scheme
named LLsM, a generative LS based on a Large Language Model (LLM). We
fine-tuned the LLM LLaMA2 with a large-scale constructed dataset encompassing
rich discourse characteristics, which enables the fine-tuned LLM to generate
texts with specific discourse in a controllable manner. Then the discourse
characteristics are used as guiding information and inputted into the
fine-tuned LLM in the form of Prompt together with secret information. The
candidate pool, derived from sampling and truncation, undergoes range encoding
to ensure the stego imitate natural text distribution. Experiments demonstrate
that LLsM performs superior to prevalent baselines regarding text quality,
statistical analysis, discourse matching, and anti-steganalysis. In particular,
LLsM's MAUVE surpasses that of some baselines by 70%-80%, and its
anti-steganalysis performance is 30%-40% higher. Notably, we also present the
long stego generated by LLsM, showing its potential superiority in long LS
tasks.
- Abstract(参考訳): 言語ステガノグラフィー(LS)タスクは、秘密情報に基づいてステガノグラフィーテキスト(ステゴ)を生成することを目的としている。
認証を受けた受取人だけが、テキスト内の秘密情報の存在を認識し、それを正確に抽出することで、プライバシーを保護できる。
しかし,既存のスキームによるステゴの制御性は乏しく,スタイルやジャンル,テーマといった特定の談話の特徴を取り入れることは困難である。
その結果、ステゴは容易に検出でき、カバート通信を妥協する。
これらの問題に対処するため,本稿では,大言語モデル(llm)に基づく生成型lssであるllsmという新しいスキームを提案する。
我々は、llm llama2を、リッチな談話特性を包含する大規模構築データセットで微調整し、特定の談話を含むテキストを制御可能な方法で生成できるようにした。
そして、この談話特性を案内情報として使用し、秘密情報とともにPmpt形式で微調整LDMに入力する。
サンプリングおよび切り離しから導かれた候補プールは、ステゴが自然なテキスト分布を模倣するようにレンジエンコーディングを行う。
実験により、llsmは、テキスト品質、統計分析、談話マッチング、アンチステグアナリシスに関する一般的なベースラインよりも優れていることが示されている。
特にllsmのmauveは、いくつかのベースラインを70%-80%上回っており、その反ステグアナライザ性能は30%-40%高い。
また,LLsMが生成する長長のステゴを提示し,長長のLSタスクにおいてその潜在的な優位性を示す。
関連論文リスト
- Generative Text Steganography with Large Language Model [10.572149957139736]
LLM-Stegaと呼ばれる大規模言語モデルのユーザインタフェースに基づくブラックボックス生成テキストステガノグラフィー手法。
まず、キーワードセットを構築し、秘密メッセージを埋め込むための新しい暗号化されたステガノグラフマッピングを設計する。
総合的な実験により、LLM-Stegaは現在の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-04-16T02:19:28Z) - Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文 参考訳(メタデータ) (2024-02-06T20:38:46Z) - Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。
本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。
その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
論文 参考訳(メタデータ) (2023-10-25T03:58:49Z) - On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。
本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。
私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
論文 参考訳(メタデータ) (2023-10-21T12:43:27Z) - Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for
Code Generation [22.219645213202178]
本稿では,SeCoT というコードの意味情報を抽出する "Semantic Chain-of-Thought" 手法を提案する。
本研究では,SeCoTが最先端の性能を実現し,大規模モデルやコード生成の可能性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-10-16T05:09:58Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳(メタデータ) (2023-10-13T07:18:53Z) - Towards Codable Watermarking for Injecting Multi-bits Information to LLMs [86.86436777626959]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
既存の透かし方式はエンコーディング非効率であり、多様な情報エンコーディングニーズに柔軟に対応できない。
テキスト透かしを複数ビットでカスタマイズ可能な情報を運ぶことができるCTWL (Codable Text Watermarking for LLMs) を提案する。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - The potential of LLMs for coding with low-resource and domain-specific
programming languages [0.0]
本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。
この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
論文 参考訳(メタデータ) (2023-07-24T17:17:13Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Semantic-Preserving Linguistic Steganography by Pivot Translation and
Semantic-Aware Bins Coding [45.13432859384438]
言語ステガノグラフィ(LS)は、秘密情報を隠蔽通信のための高度に符号化されたテキストに埋め込むことを目的としている。
そこで本研究では,2つの異なる言語間をピボットすることで,与えられたテキストを修正する新しいLS法を提案する。
論文 参考訳(メタデータ) (2022-03-08T01:35:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。