論文の概要: $$\mathbf{L^2\cdot M = C^2}$$ Large Language Models are Covert Channels

• arxiv url: http://arxiv.org/abs/2405.15652v2
• Date: Mon, 07 Oct 2024 17:21:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:08:27.549319
• Title: $$\mathbf{L^2\cdot M = C^2}$$ Large Language Models are Covert Channels
• Title（参考訳）: $$\mathbf{L^2\cdot M = C^2}$$大言語モデルは被覆チャネルである
• Authors: Simen Gaure, Stefanos Koffas, Stjepan Picek, Sondre Rønjom,
• Abstract要約: 大規模言語モデル(LLM)が最近大きな人気を集めている。 LLMは様々な攻撃を受けやすいが、多様なシステムのセキュリティも改善できる。 オープンソースLLMは、例えば検閲に抵抗する通信を促進するために、どの程度の振る舞いをするのでしょうか?
• 参考スコア（独自算出の注目度）: 11.002271137347295
• License:
• Abstract: Large Language Models (LLMs) have gained significant popularity recently. LLMs are susceptible to various attacks but can also improve the security of diverse systems. However, besides enabling more secure systems, how well do open source LLMs behave as covertext distributions to, e.g., facilitate censorship-resistant communication? In this paper, we explore open-source LLM-based covert channels. We empirically measure the security vs. capacity of an open-source LLM model (Llama-7B) to assess its performance as a covert channel. Although our results indicate that such channels are not likely to achieve high practical bitrates, we also show that the chance for an adversary to detect covert communication is low. To ensure our results can be used with the least effort as a general reference, we employ a conceptually simple and concise scheme and only assume public models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が最近大きな人気を集めている。 LLMは様々な攻撃を受けやすいが、多様なシステムのセキュリティも改善できる。 しかし、よりセキュアなシステムを実現することに加えて、オープンソースLLMは、例えば検閲に抵抗する通信を促進するために、カバーテキストの配布としてどのように振る舞うのか? 本稿では,LLMをベースとしたオープンソースの被覆チャネルについて検討する。 我々は,オープンソースのLLMモデル(Llama-7B)のセキュリティとキャパシティを実証的に測定し,その性能を隠蔽チャネルとして評価する。 以上の結果から,このようなチャネルは高い実用的なビットレートを達成できない可能性が示唆されているが,敵が隠蔽通信を検出する可能性も低いことが示唆された。 一般参照として最小限の努力で結果が利用できることを保証するため、概念的に単純かつ簡潔なスキームを採用し、公開モデルのみを仮定する。

関連論文リスト

• Should You Use Your Large Language Model to Explore or Exploit? [55.562545113247666]
  探索・探索トレードオフに直面した意思決定エージェントを支援するために,大規模言語モデルの能力を評価する。 現在のLLMは、しばしば利用に苦労するが、小規模タスクのパフォーマンスを大幅に改善するために、コンテキスト内緩和が用いられる可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T23:42:53Z)
• Jailbreaking Large Language Models in Infinitely Many Ways [3.5674816606221182]
  我々は、最も強力なオープンソースLLMの保護を回避し、その安全ポリシーに明示的に違反するコンテンツを生成する方法を示す。 実装が容易な攻撃の2つのカテゴリについて,トークンと埋め込み空間の2つの防御戦略について論じる。
  論文  参考訳（メタデータ） (2025-01-18T15:39:53Z)
• Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
  ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。 HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。 本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:08:18Z)
• MaPPing Your Model: Assessing the Impact of Adversarial Attacks on LLM-based Programming Assistants [14.947665219536708]
  本稿では,攻撃者がプログラムタスクのプロンプトに少量のテキストを付加するMalicious Programming Prompt(MaPP)攻撃を紹介する。 我々の迅速な戦略は、LSMが他の方法で正しいコードを書き続けながら脆弱性を追加する可能性があることを示しています。
  論文  参考訳（メタデータ） (2024-07-12T22:30:35Z)
• Decoding with Limited Teacher Supervision Requires Understanding When to Trust the Teacher [11.136112399898481]
  小規模大規模言語モデル(LLM)は、LLMの監督を効果的に活用して、その生成品質を向上するにはどうすればよいのか? 我々は,初期トークン上でのLLMおよびLLM予測を効果的に集約するアルゴリズムを開発した。 提案手法は,従来の復号法よりも一貫した手法であることを示す。
  論文  参考訳（メタデータ） (2024-06-26T01:16:12Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Coercing LLMs to do and reveal (almost) anything [80.8601180293558]
  大規模言語モデル(LLM)に対する敵対的攻撃は、有害なステートメントを作るためにモデルを「ジェイルブレイク」することができることが示されている。 LLMに対する敵対的攻撃のスペクトルは単なるジェイルブレイクよりもはるかに大きいと我々は主張する。
  論文  参考訳（メタデータ） (2024-02-21T18:59:13Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly [21.536079040559517]
  大規模言語モデル(LLM)は、自然言語の理解と生成に革命をもたらした。 本稿では,LLMとセキュリティとプライバシの交わりについて考察する。
  論文  参考訳（メタデータ） (2023-12-04T16:25:18Z)
• On the Safety of Open-Sourced Large Language Models: Does Alignment Really Prevent Them From Being Misused? [49.99955642001019]
  オープンソースでアライメントされた大きな言語モデルは、望ましくないコンテンツを生成するために簡単に誤解される可能性があることを示す。 我々のキーとなる考え方は、オープンソースLLMの生成プロセスを直接操作して、望ましくないコンテンツを生成するのを誤解することです。
  論文  参考訳（メタデータ） (2023-10-02T19:22:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。