論文の概要: Rethinking LLM and Linguistic Steganalysis: An Efficient Detection of Strongly Concealed Stego

• arxiv url: http://arxiv.org/abs/2406.04218v1
• Date: Thu, 6 Jun 2024 16:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:59:57.832005
• Title: Rethinking LLM and Linguistic Steganalysis: An Efficient Detection of Strongly Concealed Stego
• Title（参考訳）: LLMと言語ステガナリシスの再考 : 強吸収ステゴの効率的な検出法
• Authors: Yifan Tang, Yihao Wang, Ru Zhang, Jianyi Liu,
• Abstract要約: 我々はLSGCと呼ばれる2つのモードを持つ新しいLSを開発した。 生成モードでは、LS-task"記述"を作成しました。 分類モードでは、LSGCはLS-taskの"記述"を削除し、"causalLM"のLLMを"シーケンス"アーキテクチャに変更した。
• 参考スコア（独自算出の注目度）: 6.99735992267331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To detect stego (steganographic text) in complex scenarios, linguistic steganalysis (LS) with various motivations has been proposed and achieved excellent performance. However, with the development of generative steganography, some stegos have strong concealment, especially after the emergence of LLMs-based steganography, the existing LS has low detection or even cannot detect them. We designed a novel LS with two modes called LSGC. In the generation mode, we created an LS-task "description" and used the generation ability of LLM to explain whether texts to be detected are stegos. On this basis, we rethought the principle of LS and LLMs, and proposed the classification mode. In this mode, LSGC deleted the LS-task "description" and changed the "causalLM" LLMs to the "sequenceClassification" architecture. The LS features can be extracted by only one pass of the model, and a linear layer with initialization weights is added to obtain the classification probability. Experiments on strongly concealed stegos show that LSGC significantly improves detection and reaches SOTA performance. Additionally, LSGC in classification mode greatly reduces training time while maintaining high performance.
• Abstract（参考訳）: 複雑なシナリオにおけるステゴ(ステガノグラフィーテキスト)を検出するため,様々なモチベーションを持つ言語ステガナリシス(LS)が提案され,優れた性能を示した。 しかし, 造形ステガノグラフィーの発達に伴い, 一部のステガノグラフィーは強い隠蔽を有しており, 特にLDMによるステガノグラフィーが出現した後は, 既存のLSは検出が低く, 検出すらできない。 我々はLSGCと呼ばれる2つのモードを持つ新しいLSを設計した。 生成モードでは、LS-taskの「記述」を作成し、LLMの生成能力を用いて検出対象のテキストがステゴであるかどうかを説明する。 そこで我々はLSとLLMの原理を再考し,分類モードを提案する。 このモードでは、LSGCはLS-taskの"記述"を削除し、"causalLM"のLLMを"シーケンス分類"アーキテクチャに変更した。 LS特徴はモデルの1パスのみで抽出でき、初期化重み付き線形層を追加して分類確率を得る。 強く隠蔽されたステゴスの実験では、LSGCは検出を著しく改善し、SOTA性能に達することが示されている。 さらに、分類モードにおけるLSGCは、高い性能を維持しながらトレーニング時間を大幅に短縮する。

関連論文リスト

• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• MultiLS: A Multi-task Lexical Simplification Framework [21.81108113189197]
  マルチタスクLSデータセットの作成を可能にする最初のLSフレームワークであるMultiLSを提案する。 また,MultiLSフレームワークを用いた最初のデータセットであるMultiLS-PTを提案する。
  論文  参考訳（メタデータ） (2024-02-22T21:16:18Z)
• The Lay Person's Guide to Biomedicine: Orchestrating Large Language Models [38.8292168447796]
  大規模言語モデル(LLM)は、テキストの単純化、背景情報生成、テキスト評価において顕著な能力を示した。 我々は,LLMを利用して高品質なバックグラウンド知識を生成する,新しいtextitExplain-then-Summarise LSフレームワークを提案する。 また,複数の視点からレイネスを評価する2つの新しいLS評価指標を提案する。
  論文  参考訳（メタデータ） (2024-02-21T03:21:14Z)
• Latent space configuration for improved generalization in supervised autoencoder neural networks [0.0]
  所望のトポロジを持つLSを得るための2つの手法を提案する。 LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、複数の入力に対して類似度を推定することができる。 提案手法を用いて衣服のテクスチャ分類を訓練したSAEは,細調整をせずに,LIP,Market1501,WildTrackのデータセットから見当たらないデータによく一般化することを示した。
  論文  参考訳（メタデータ） (2024-02-13T13:25:51Z)
• Label Supervised LLaMA Finetuning [13.939718306233617]
  本稿では,Large Language Models (LLM) のラベル管理型適応について紹介する。 最終LLaMA層から潜在表現を抽出し、ラベル空間に投影し、クロスエントロピー損失を計算する。 LS-LLaMAは、複雑な技術や外部知識がなければ、LS-LLaMAの10倍の規模でLLMを著しく上回ります。
  論文  参考訳（メタデータ） (2023-10-02T13:53:03Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Zero-Shot Cross-Lingual Summarization via Large Language Models [108.30673793281987]
  言語間要約(CLS)は、異なる対象言語で要約を生成する。 近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。 本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
  論文  参考訳（メタデータ） (2023-02-28T01:27:37Z)
• Weakly Supervised Label Smoothing [15.05158252504978]
  L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。 ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
  論文  参考訳（メタデータ） (2020-12-15T19:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。