Fugu-MT 論文翻訳(概要): On Trojans in Refined Language Models

論文の概要: On Trojans in Refined Language Models

arxiv url: http://arxiv.org/abs/2406.07778v1
Date: Wed, 12 Jun 2024 00:01:32 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 20:46:21.697320
Title: On Trojans in Refined Language Models
Title（参考訳）: 精製言語モデルにおけるトロイの木について
Authors: Jayaram Raghuram, George Kesidis, David J. Miller,
Abstract要約: 言語モデルにおけるトロイの木馬は、製品レビューの感情を決定するなど、特定のアプリケーションのためにモデルが洗練されるときに挿入することができる。本稿では,データ・ポゾン・脅威モデルの多様性を解明し,実証的に検討する。
参考スコア（独自算出の注目度）: 16.10608633005216
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A Trojan in a language model can be inserted when the model is refined for a particular application such as determining the sentiment of product reviews. In this paper, we clarify and empirically explore variations of the data-poisoning threat model. We then empirically assess two simple defenses each for a different defense scenario. Finally, we provide a brief survey of related attacks and defenses.
Abstract（参考訳）: 言語モデルにおけるトロイの木馬は、製品レビューの感情を決定するなど、特定のアプリケーションのためにモデルが洗練されるときに挿入することができる。本稿では,データ・ポゾン・脅威モデルの多様性を解明し,実証的に検討する。次に、異なる防御シナリオに対して、2つの単純な防御を経験的に評価する。最後に、関連する攻撃と防御について簡単な調査を行う。

関連論文リスト

MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
論文参考訳（メタデータ） (2024-06-13T15:55:04Z)
Trojans in Large Language Models of Code: A Critical Review through a Trigger-Based Taxonomy [11.075592348442225]
大きな言語モデル(LLM)は、ソフトウェア開発に多くのエキサイティングな新機能を提供します。これらのモデルの不透明な性質は、推論や検査を困難にしている。本研究は,現在最先端のトロイの木馬によるコードの大規模言語モデルに対する攻撃について概説する。
論文参考訳（メタデータ） (2024-05-05T06:43:52Z)
Punctuation Matters! Stealthy Backdoor Attack for Language Models [36.91297828347229]
バックドアモデルは、テキスト上で不適切に実行しながら、クリーンなサンプルに対して正常な出力を生成する。いくつかの攻撃方法は文法的な問題を引き起こしたり、元のテキストの意味を変更したりする。我々は,textbfPuncAttackと呼ばれる,テキストモデルに対する新たなステルスバックドア攻撃手法を提案する。
論文参考訳（メタデータ） (2023-12-26T03:26:20Z)
Attention-Enhancing Backdoor Attacks Against BERT-based Models [54.070555070629105]
バックドア攻撃の戦略を調べることは、モデルの脆弱性を理解するのに役立つだろう。本稿では,注意パターンを直接操作することでトロイの木馬行動を向上させる新しいトロイの木馬注意損失(TAL)を提案する。
論文参考訳（メタデータ） (2023-10-23T01:24:56Z)
Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space [11.93979764176335]
トロイの木馬攻撃は入力データに埋め込まれ、ニューラルネットワークモデルに悪意のある振る舞いをもたらす。本稿では,VQAに対するインスタンスレベルのマルチモーダルトロイの木馬攻撃を提案する。提案した攻撃はトロイの木馬のサンプルを数枚注入することで、異なる微調整モデルに効率的に適応できることを実証した。
論文参考訳（メタデータ） (2023-04-02T03:03:21Z)
Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against Fact-Verification Systems [80.3811072650087]
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。この攻撃は、主張のポストホックな修正に対しても堅牢である。これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
論文参考訳（メタデータ） (2022-09-07T13:39:24Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)
Odyssey: Creation, Analysis and Detection of Trojan Models [91.13959405645959]
トロイの木馬攻撃は、一部のトレーニングサンプルにトリガーを挿入してトレーニングパイプラインを妨害し、トリガーを含むサンプルに対してのみ悪意ある動作をするようにモデルを訓練する。既存のトロイの木馬検出器はトリガーの種類や攻撃について強い仮定をしている。そこで本研究では,トロヤニング過程の影響を受け,本質的特性の分析に基づく検出器を提案する。
論文参考訳（メタデータ） (2020-07-16T06:55:00Z)
Scalable Backdoor Detection in Neural Networks [61.39635364047679]
ディープラーニングモデルは、トロイの木馬攻撃に対して脆弱で、攻撃者はトレーニング中にバックドアをインストールして、結果のモデルが小さなトリガーパッチで汚染されたサンプルを誤識別させる。本稿では,ラベル数と計算複雑性が一致しない新たなトリガリバースエンジニアリング手法を提案する。実験では,提案手法が純モデルからトロイの木馬モデルを分離する際の完全なスコアを達成できることが観察された。
論文参考訳（メタデータ） (2020-06-10T04:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。