論文の概要: OD-Stega: LLM-Based Near-Imperceptible Steganography via Optimized Distributions
- arxiv url: http://arxiv.org/abs/2410.04328v1
- Date: Sun, 6 Oct 2024 01:30:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 08:30:03.525958
- Title: OD-Stega: LLM-Based Near-Imperceptible Steganography via Optimized Distributions
- Title（参考訳）: OD-Stega: 最適化分布を用いたLDMによるニア・インパーセプティブル・ステガノグラフィー
- Authors: Yu-Shin Huang, Peter Just, Krishna Narayanan, Chao Tian,
- Abstract要約: 本研究では,Large Language Modelが算術符号デコーダを駆動してステゴテキストを生成する,隠蔽型ステガノグラフィについて考察する。
効率的な方法は、秘密のメッセージビットをできるだけ少数の言語トークンに埋め込む必要がある。
- 参考スコア（独自算出の注目度）: 7.611860976107124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider coverless steganography where a Large Language Model (LLM) drives an arithmetic coding decoder to generate stego-texts. An efficient method should embed secret message bits in as few language tokens as possible, while still keeping the stego-text natural and fluent. We show that on the individual token level, this problem is mathematically equivalent to maximizing the entropy of a replacement probability distribution of the next token generation, subject to a constraint on the KL divergence between the chosen probability distribution and the original distribution given by the LLM. A closed-form solution is provided for the optimization problem, which can be computed efficiently. Several important practical issues are also tackled: 1) An often-overlooked tokenization mismatch issue is resolved with a simple prompt selection approach, 2) The combination of the optimized distribution and the vocabulary truncation technique is considered, and 3) The combination of the optimized distribution with other sequence-level selection heuristics to further enhance the efficiency and reliability is studied.
- Abstract（参考訳）: 本研究では,Large Language Model (LLM) が算術符号デコーダを駆動してステゴテキストを生成する場合の非被覆ステガノグラフィーについて考察する。
効率的な方法は、秘密のメッセージビットをできるだけ少数の言語トークンに埋め込む必要がある。
個々のトークンレベルでは、選択された確率分布とLLMが与える元の分布とのKL分散の制約を条件として、次のトークン生成の置換確率分布のエントロピーを最大化することが数学的に等価であることを示す。
最適化問題に対して、効率的に計算できる閉形式解が提供される。
重要な実務上の問題もいくつか取り組まれている。
1) しばしば見過ごされるトークン化ミスマッチ問題は、単純なプロンプト選択アプローチで解決される。
2)最適化分布と語彙トランケーション手法の組み合わせを考察し,その有効性について考察する。
3)最適化された分布と他のシーケンスレベルの選択ヒューリスティックを組み合わせることで,効率と信頼性をさらに向上させる。
関連論文リスト
- Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property [0.358439716487063]
大規模データの爆発はシングルマシンシステムの処理能力を上回っている。
分散推論への伝統的なアプローチは、高次元データセットにおいて真の疎性を達成するのにしばしば苦労する。
そこで本稿では,これらの問題に対処する2段階分散ベストサブセット選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-30T13:22:08Z) - Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。
本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。
我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文 参考訳（メタデータ） (2024-07-23T06:21:24Z) - Stabilized Proximal-Point Methods for Federated Optimization [20.30761752651984]
非加速アルゴリズムの通信複雑性は、分散近位点アルゴリズムであるDANEによって達成される。
ハイブリッド投影近点法に着想を得て,新しい分散アルゴリズムS-DANEを提案する。
S-DANEは、S-DANEとして良好な局所計算効率を保ちながら、通信の複雑さを最もよく表すことを示す。
論文 参考訳（メタデータ） (2024-07-09T17:56:29Z) - Quantization Avoids Saddle Points in Distributed Optimization [1.579622195923387]
分散非最適化は、多くの分散システムの重要な機能を支える。
本研究の目的は,サドル点収束を2次定常点収束に効果的に回避できることを示すことである。
簡単に調整可能な量子化により、ユーザの制御により、通信オーバーヘッドを積極的に削減できる。
論文 参考訳（メタデータ） (2024-03-15T15:58:20Z) - Synthesizing Tight Privacy and Accuracy Bounds via Weighted Model Counting [5.552645730505715]
2つの中核的な課題は、DPアルゴリズムの分布の表現的でコンパクトで効率的な符号化を見つけることである。
プライバシーと正確性に縛られた合成法を開発することで、最初の課題に対処する。
DPアルゴリズムに固有の対称性を活用するためのフレームワークを開発する。
論文 参考訳（メタデータ） (2024-02-26T19:29:46Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳（メタデータ） (2023-10-06T16:36:08Z) - Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
サンプルから抽出可能な分布を学習する新しい手法を提案する。
モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。
提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
論文 参考訳（メタデータ） (2023-08-11T19:08:06Z) - Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳（メタデータ） (2023-01-30T15:46:39Z) - Efficient and Flexible Sublabel-Accurate Energy Minimization [62.50191141358778]
データと滑らかさの項からなるエネルギー関数のクラスを最小化する問題に対処する。
既存の連続最適化手法は、サブラベル精度の高い解を見つけることができるが、大きなラベル空間では効率が良くない。
本稿では,連続モデルと離散モデルの両方の最適特性を利用する効率的なサブラベル精度手法を提案する。
論文 参考訳（メタデータ） (2022-06-20T06:58:55Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳（メタデータ） (2020-09-28T15:22:24Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。