論文の概要: Position: It's Time to Act on the Risk of Efficient Personalized Text Generation

• arxiv url: http://arxiv.org/abs/2502.06560v1
• Date: Mon, 10 Feb 2025 15:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:01.970022
• Title: Position: It's Time to Act on the Risk of Efficient Personalized Text Generation
• Title（参考訳）: 位置:効率的な個人化テキスト生成のリスクに対処する時が来た
• Authors: Eugenia Iofinova, Andrej Jovanovic, Dan Alistarh,
• Abstract要約: 近年、高品質なオープンソースAIテキストモデル(LLM)が急増し、高品質なパーソナライズされたモデルが作成できるようになった。 これらの進歩は、悪質なアクターが特定の個人を偽装することが事実上可能となることによって、新たな安全リスクももたらしたと論じる。
• 参考スコア（独自算出の注目度）: 34.46326274747647
• License:
• Abstract: The recent surge in high-quality open-sourced Generative AI text models (colloquially: LLMs), as well as efficient finetuning techniques, has opened the possibility of creating high-quality personalized models, i.e., models generating text attuned to a specific individual's needs and capable of credibly imitating their writing style by leveraging that person's own data to refine an open-source model. The technology to create such models is accessible to private individuals, and training and running such models can be done cheaply on consumer-grade hardware. These advancements are a huge gain for usability and privacy. This position paper argues, however, that these advancements also introduce new safety risks by making it practically feasible for malicious actors to impersonate specific individuals at scale, for instance for the purpose of phishing emails, based on small amounts of publicly available text. We further argue that these risks are complementary to - and distinct from - the much-discussed risks of other impersonation attacks such as image, voice, or video deepfakes, and are not adequately addressed by the larger research community, or the current generation of open - and closed-source models.
• Abstract（参考訳）: 近年の高品質なオープンソースのジェネレーティブAIテキストモデル(LLM)の急増は、効率的な微調整技術とともに、特定の個人のニーズに合わせた高品質なパーソナライズされたモデル、すなわち、その人のデータを活用してオープンソースモデルを洗練させることで、彼らの書き込みスタイルを忠実に模倣することのできる、高品質なパーソナライズされたモデルを作成する可能性を開いた。 このようなモデルを作成する技術は個人でも利用でき、そのようなモデルのトレーニングと実行は、コンシューマグレードのハードウェアで安価に行うことができる。 これらの進歩は、ユーザビリティとプライバシーにとって大きな進歩だ。 しかし,本稿は,悪意あるアクターが大規模に特定個人を偽造することが事実上可能であること,例えば,少量の公開テキストに基づいて電子メールをフィッシングすることなどによって,新たな安全リスクがもたらされることを論じている。 さらに、これらのリスクは、画像、音声、ビデオのディープフェイクといった他の偽造攻撃の非常に議論の的になっているリスクと相補的であり、より大きな研究コミュニティや、現在の次世代のオープン・アンド・クローズド・ソース・モデルによって適切に対処されていないことを議論する。

関連論文リスト

• On the Privacy Risk of In-context Learning [36.633860818454984]
  我々は、プロンプトモデルがプロンプト内で使用されるデータに対して、重大なプライバシーリスクを示すことを示した。 また、トリガーモデルのプライバシリスクが、同じユーティリティレベルで微調整されたモデルを超えることも観察します。
  論文  参考訳（メタデータ） (2024-11-15T17:11:42Z)
• Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
  下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。 いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。 本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T15:35:09Z)
• Adversarial Robustness of Open-source Text Classification Models and Fine-Tuning Chains [11.379606061113348]
  オープンソースのAIモデルと微調整チェーンは、敵攻撃のような新たなセキュリティリスクに直面している。 本稿では,超微調整による上流-下流関係によって形成される,オープンソースのAIモデルとそのチェーンの対角的堅牢性を検討することを目的とする。
  論文  参考訳（メタデータ） (2024-08-06T05:17:17Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Anonymization Prompt Learning for Facial Privacy-Preserving Text-to-Image Generation [56.46932751058042]
  我々は、テキストから画像への拡散モデルのための学習可能なプロンプトプレフィックスをトレーニングし、匿名化された顔のアイデンティティを生成するよう強制する。 実験では,非同一性固有の画像生成の品質を損なうことなく,特定の個人を匿名化するAPLの匿名化性能を実証した。
  論文  参考訳（メタデータ） (2024-05-27T07:38:26Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Membership Inference Attacks and Privacy in Topic Modeling [3.503833571450681]
  トレーニングデータのメンバーを確実に識別できるトピックモデルに対する攻撃を提案する。 本稿では,DP語彙選択を前処理ステップとして組み込んだプライベートトピックモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T12:43:42Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Membership Inference Attacks Against Text-to-image Generation Models [23.39695974954703]
  本稿では,メンバシップ推論のレンズを用いたテキスト・画像生成モデルの最初のプライバシ解析を行う。 本稿では,メンバーシップ情報に関する3つの重要な直観と,それに応じて4つの攻撃手法を設計する。 提案した攻撃はいずれも大きな性能を達成でき、場合によっては精度が1に近い場合もあり、既存のメンバーシップ推論攻撃よりもはるかに深刻なリスクとなる。
  論文  参考訳（メタデータ） (2022-10-03T14:31:39Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。