Fugu-MT 論文翻訳(概要): Propaganda via AI? A Study on Semantic Backdoors in Large Language Models

論文の概要: Propaganda via AI? A Study on Semantic Backdoors in Large Language Models

arxiv url: http://arxiv.org/abs/2504.12344v1
Date: Tue, 15 Apr 2025 16:43:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-18 14:37:25.350504
Title: Propaganda via AI? A Study on Semantic Backdoors in Large Language Models
Title（参考訳）: AIによるプロパガンダ : 大規模言語モデルにおける意味論的バックドアに関する研究
Authors: Nay Myat Min, Long H. Pham, Yige Li, Jun Sun,
Abstract要約: セマンティックバックドアは少量の毒コーパスで埋め込むことができる。本稿では,意味論的エントロピーとモデル間の整合性解析を組み合わせたブラックボックス検出フレームワークであるRAVENを紹介する。未検出セマンティックバックドアの実証評価
参考スコア（独自算出の注目度）: 7.282200564983221
License:
Abstract: Large language models (LLMs) demonstrate remarkable performance across myriad language tasks, yet they remain vulnerable to backdoor attacks, where adversaries implant hidden triggers that systematically manipulate model outputs. Traditional defenses focus on explicit token-level anomalies and therefore overlook semantic backdoors-covert triggers embedded at the conceptual level (e.g., ideological stances or cultural references) that rely on meaning-based cues rather than lexical oddities. We first show, in a controlled finetuning setting, that such semantic backdoors can be implanted with only a small poisoned corpus, establishing their practical feasibility. We then formalize the notion of semantic backdoors in LLMs and introduce a black-box detection framework, RAVEN (short for "Response Anomaly Vigilance for uncovering semantic backdoors"), which combines semantic entropy with cross-model consistency analysis. The framework probes multiple models with structured topic-perspective prompts, clusters the sampled responses via bidirectional entailment, and flags anomalously uniform outputs; cross-model comparison isolates model-specific anomalies from corpus-wide biases. Empirical evaluations across diverse LLM families (GPT-4o, Llama, DeepSeek, Mistral) uncover previously undetected semantic backdoors, providing the first proof-of-concept evidence of these hidden vulnerabilities and underscoring the urgent need for concept-level auditing of deployed language models. We open-source our code and data at https://github.com/NayMyatMin/RAVEN.
Abstract（参考訳）: 大規模言語モデル(LLM)は、無数の言語タスクにまたがる顕著なパフォーマンスを示すが、敵がモデル出力を体系的に操作する隠れトリガを埋め込むバックドア攻撃には弱いままである。伝統的な防御は明示的なトークンレベルの異常に重点を置いており、それゆえ、語彙的奇異性よりも意味に基づく手がかりに依存する概念レベル(例えば、イデオロギー的スタンスや文化的参照)に埋め込まれた意味論的バックドア・カバーレットの引き金を見落としている。制御された微調整環境では、このようなセマンティックバックドアは、小さな毒を盛ったコーパスでのみ移植できることを示し、実用性を確立した。次に,LLMにおけるセマンティックバックドアの概念を定式化し,意味エントロピーとモデル間の整合性解析を組み合わせた,ブラックボックス検出フレームワークであるRAVEN(Response Anomaly Vigilance forcovering semantic Backdoors)を導入する。このフレームワークは、構造化されたトピックパースペクティブプロンプトで複数のモデルを探索し、双方向のエンターメントを介してサンプル応答をクラスタし、異常に均一な出力をフラグにし、クロスモデル比較は、モデル固有の異常をコーパスワイドバイアスから分離する。さまざまなLLMファミリー(GPT-4o、Llama、DeepSeek、Mistral)にまたがる実証的な評価により、事前に検出されていないセマンティックバックドアが発見され、これらの隠れた脆弱性の初めての概念実証と、デプロイされた言語モデルの概念レベルの監査の必要性が強調された。コードとデータはhttps://github.com/NayMyatMin/RAVEN.comで公開しています。

関連論文リスト

Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [31.632816425798108]
トークン化は多くの言語モデルの現在のアーキテクチャにおいて必要なコンポーネントである。トークンと事前学習がバイアスやその他の望ましくないコンテンツのバックドアとして機能するかについて議論する。トークン化アルゴリズムの目的関数が大規模言語モデルの認知に影響を及ぼす証拠を中継する。
論文参考訳（メタデータ） (2024-12-14T18:18:52Z)
Neutralizing Backdoors through Information Conflicts for Large Language Models [20.6331157117675]
大規模言語モデル(LLM)からバックドアの挙動を除去する新しい手法を提案する。軽量なデータセットを使用してコンフリクトモデルをトレーニングし、バックドアモデルとマージして悪意のある振る舞いを中和します。我々は、90%以上のクリーンデータ精度を維持しながら、高度なバックドア攻撃の攻撃成功率を最大98%削減することができる。
論文参考訳（メタデータ） (2024-11-27T12:15:22Z)
When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
大規模言語モデル(LLM)は、バックドア攻撃に弱いことが知られている。本稿では,自然言語説明の新しいレンズによるバックドア攻撃について検討する。以上の結果から,バックドアモデルではクリーンな入力に対してコヒーレントな説明が得られたが,有毒なデータに対して多様かつ論理的に欠陥のある説明が得られた。
論文参考訳（メタデータ） (2024-11-19T18:11:36Z)
CROW: Eliminating Backdoors from Large Language Models via Internal Consistency Regularization [7.282200564983221]
大規模言語モデル(LLM)は、バックドア攻撃の影響を受けやすい。バックドアトリガによる階層的不整合に対処するために、内部一貫性規則化(CROW)を導入する。 CROWは、さまざまなバックドア戦略やタスクにおける攻撃成功率の大幅な削減を一貫して達成している。
論文参考訳（メタデータ） (2024-11-18T07:52:12Z)
T2IShield: Defending Against Backdoors on Text-to-Image Diffusion Models [70.03122709795122]
バックドア攻撃の検出, 局所化, 緩和のための総合防御手法T2IShieldを提案する。バックドアトリガーによって引き起こされた横断アテンションマップの「アシミレーション現象」を見いだす。バックドアサンプル検出のために、T2IShieldは計算コストの低い88.9$%のF1スコアを達成している。
論文参考訳（メタデータ） (2024-07-05T01:53:21Z)
Model Pairing Using Embedding Translation for Backdoor Attack Detection on Open-Set Classification Tasks [63.269788236474234]
バックドア検出のためのオープンセット分類タスクにモデルペアを用いることを提案する。このスコアは、異なるアーキテクチャのモデルがあるにもかかわらず、バックドアの存在を示す指標であることを示している。この技術は、オープンセット分類タスク用に設計されたモデル上のバックドアの検出を可能にするが、文献ではほとんど研究されていない。
論文参考訳（メタデータ） (2024-02-28T21:29:16Z)
Setting the Trap: Capturing and Defeating Backdoors in Pretrained Language Models through Honeypots [68.84056762301329]
近年の研究では、バックドア攻撃に対するプレトレーニング言語モデル(PLM)の感受性が明らかにされている。バックドア情報のみを吸収するために,ハニーポットモジュールをオリジナルのPLMに統合する。我々の設計は、PLMの低層表現が十分なバックドア特徴を持っているという観察に動機づけられている。
論文参考訳（メタデータ） (2023-10-28T08:21:16Z)
ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP [29.375957205348115]
本稿では,モデル予測の解釈可能性に着目した,革新的な試験時間有毒サンプル検出フレームワークを提案する。我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして使用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。
論文参考訳（メタデータ） (2023-08-04T03:48:28Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)
Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文参考訳（メタデータ） (2021-03-06T05:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。