Fugu-MT 論文翻訳(概要): Text Embedding Inversion Attacks on Multilingual Language Models

論文の概要: Text Embedding Inversion Attacks on Multilingual Language Models

arxiv url: http://arxiv.org/abs/2401.12192v1
Date: Mon, 22 Jan 2024 18:34:42 GMT
ステータス: 処理完了
システム内更新日: 2024-01-23 12:46:36.996823
Title: Text Embedding Inversion Attacks on Multilingual Language Models
Title（参考訳）: 多言語モデルに対するテキスト埋め込みインバージョン攻撃
Authors: Yiyi Chen and Heather Lent and Johannes Bjerva
Abstract要約: テキスト情報を実数埋め込みとして表現することが標準となっている。大規模言語モデル(LLMs)に対する大衆の関心が高まり、Embedddings as a Service(サービスとしての埋め込み)は、ビジネスモデルとして急速に勢いを増している。センシティブなデータを埋め込みから再構築できるため、これは優れたセキュリティリスクを伴わない。
参考スコア（独自算出の注目度）: 3.1366419227913123
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Representing textual information as real-numbered embeddings has become the norm in NLP. Moreover, with the rise of public interest in large language models (LLMs), Embeddings as a Service (EaaS) has rapidly gained traction as a business model. This is not without outstanding security risks, as previous research has demonstrated that sensitive data can be reconstructed from embeddings, even without knowledge of the underlying model that generated them. However, such work is limited by its sole focus on English, leaving all other languages vulnerable to attacks by malicious actors. %As many international and multilingual companies leverage EaaS, there is an urgent need for research into multilingual LLM security. To this end, this work investigates LLM security from the perspective of multilingual embedding inversion. Concretely, we define the problem of black-box multilingual and cross-lingual inversion attacks, with special attention to a cross-domain scenario. Our findings reveal that multilingual models are potentially more vulnerable to inversion attacks than their monolingual counterparts. This stems from the reduced data requirements for achieving comparable inversion performance in settings where the underlying language is not known a-priori. To our knowledge, this work is the first to delve into multilinguality within the context of inversion attacks, and our findings highlight the need for further investigation and enhanced defenses in the area of NLP Security.
Abstract（参考訳）: テキスト情報を実数埋め込みとして表現することは、NLPの標準となっている。さらに、大きな言語モデル(LLM)に対する一般の関心が高まり、Embedddings as a Service(EaaS)は、ビジネスモデルとして急速に注目を集めています。先程の研究で、センシティブなデータを埋め込みから再構築できることが実証されたため、これは明らかなセキュリティ上のリスクを伴わない。しかし、そのような作品は英語のみに焦点が当てられているため、悪意あるアクターによる攻撃に弱い言語を残している。 %) 国際・多言語企業は EaaS を活用しているため,多言語 LLM セキュリティの研究が急務である。そこで本研究では,多言語組込みインバージョンの観点からllmセキュリティについて検討する。具体的には,ブラックボックス・マルチランガル・クロスランガル・インバージョン・アタックの問題を定義し,特にクロスドメイン・シナリオに注目した。その結果,多言語モデルの方がモノリンガルモデルよりも逆攻撃に弱い可能性が示唆された。これは、基盤言語がa-prioriを知らない設定で同等の逆パフォーマンスを達成するためのデータ要件の削減に起因する。我々の知る限り、この研究はインバージョンアタックの文脈における多言語性を探究する最初の試みであり、我々はNLPセキュリティの領域におけるさらなる調査と防御強化の必要性を強調している。

関連論文リスト

Benchmarking LLM Guardrails in Handling Multilingual Toxicity [57.296161186129545]
7つのデータセットと10以上の言語にまたがる包括的な多言語テストスイートを導入し、最先端ガードレールのパフォーマンスをベンチマークする。近年の脱獄技術に対するガードレールの弾力性について検討し,ガードレールの性能に及ぼすコンテキスト内安全ポリシーと言語資源の可利用性の影響について検討した。以上の結果から, 既存のガードレールは多言語毒性の処理に依然として効果がなく, 脱獄プロンプトに対する堅牢性が欠如していることが示唆された。
論文参考訳（メタデータ） (2024-10-29T15:51:24Z)
Towards Understanding the Fragility of Multilingual LLMs against Fine-Tuning Attacks [18.208272960774337]
LLM(Large Language Models)は、その安全性に対する幅広い懸念を引き起こしている。近年の研究では, 微調整によりLLMの安全性の整合性を容易に除去できることが示されている。我々は,多言語LLMにおける微調整攻撃の理解をさらに進める。
論文参考訳（メタデータ） (2024-10-23T18:27:36Z)
Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
論文参考訳（メタデータ） (2024-10-06T08:51:30Z)
Against All Odds: Overcoming Typology, Script, and Language Confusion in Multilingual Embedding Inversion Attacks [3.2297018268473665]
大規模言語モデル(LLM)は、敵、バックドア、侵入攻撃などの侵入を通じて、サイバー攻撃者による悪意ある影響を受けやすい。本研究では,20言語にまたがる言語間およびクロススクリプト・インバージョン・インバージョン・アタックの文脈における多言語LDMの安全性について検討する。アラビア文字とキリル文字で書かれた言語は、インド・アーリア語族の言語と同様に、特にインバージョンに弱いことが示唆された。
論文参考訳（メタデータ） (2024-08-21T16:16:34Z)
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning [63.481446315733145]
多言語大言語モデル(LLM)に対する言語間バックドア攻撃は未調査である。本研究は, 教育指導データが有毒でない言語に対して, 教育指導データの有毒化がアウトプットに与える影響について検討した。本手法は,mT5 や GPT-4o などのモデルにおいて,高い攻撃成功率を示し,12言語中7言語以上で90%以上を突破した。
論文参考訳（メタデータ） (2024-04-30T14:43:57Z)
Multilingual Jailbreak Challenges in Large Language Models [96.74878032417054]
本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。我々は、意図しないシナリオと意図的なシナリオの2つを考えます。安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-10T09:44:06Z)
Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。