論文の概要: Leaking LoRa: An Evaluation of Password Leaks and Knowledge Storage in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.00031v1
• Date: Sat, 29 Mar 2025 10:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:25:31.188874
• Title: Leaking LoRa: An Evaluation of Password Leaks and Knowledge Storage in Large Language Models
• Title（参考訳）: Leaking LoRa:大規模言語モデルにおけるパスワードリークと知識ストレージの評価
• Authors: Ryan Marinelli, Magnus Eckhoff,
• Abstract要約: ユーザーデータの微調整モデルは、パスワードが漏洩する可能性がある。 本研究では、RockYouパスワードのワードリストから顧客サポートデータとパスワードを微調整する。 リストから最初の200パスワードのうち37パスワードが回収された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: To effectively deploy Large Language Models (LLMs) in application-specific settings, fine-tuning techniques are applied to enhance performance on specialized tasks. This process often involves fine-tuning on user data data, which may contain sensitive information. Although not recommended, it is not uncommon for users to send passwords in messages, and fine-tuning models on this could result in passwords being leaked. In this study, a Large Language Model is fine-tuned with customer support data and passwords from the RockYou password wordlist using Low-Rank Adaptation (LoRA). Out of the first 200 passwords from the list, 37 were successfully recovered. Further, causal tracing is used to identify that password information is largely located in a few layers. Lastly, Rank One Model Editing (ROME) is used to remove the password information from the model, resulting in the number of passwords recovered going from 37 to 0.
• Abstract（参考訳）: アプリケーション固有の設定でLarge Language Models (LLMs) を効果的にデプロイするために、特殊タスクのパフォーマンスを高めるために微調整技術が適用される。 このプロセスは、機密情報を含む可能性のあるユーザデータデータの微調整を伴うことが多い。 推奨されていないが、ユーザーがメッセージでパスワードを送ることは珍しくなく、これに関する微調整モデルはパスワードが漏洩する可能性がある。 本研究では、Low-Rank Adaptation (LoRA)を用いて、RockYouパスワードのワードリストから顧客サポートデータとパスワードを微調整する。 リストから最初の200パスワードのうち37パスワードが回収された。 さらに、因果トレースは、パスワード情報が主にいくつかの層に存在することを特定するために使用される。 最後に、Rop One Model Editing (ROME) は、モデルからパスワード情報を削除するために使用され、その結果、37から0に復元されたパスワードの数になる。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• PassTSL: Modeling Human-Created Passwords through Two-Stage Learning [7.287089766975719]
  NLPと深層学習(DL)で一般的な事前学習ファインタニングフレームワークに着想を得たPassTSL(2段階学習による人為的なパスワードのモデル化)を提案する。 PassTSLはパスワード推測において5つのSOTA(State-of-the-art)パスワードクラッキング法を最大で4.11%から64.69%の差で上回っている。 PassTSLに基づいてパスワード強度計(PSM)も実装し,パスワード強度をより正確に推定できることを示した。
  論文  参考訳（メタデータ） (2024-07-19T09:23:30Z)
• PassViz: A Visualisation System for Analysing Leaked Passwords [2.2530496464901106]
  PassVizは、漏洩したパスワードを2次元空間で視覚化し分析するためのコマンドラインツールである。 本稿では、PassVizを用いて、漏洩したパスワードのさまざまな側面を視覚的に分析し、これまで知られていなかったパスワードパターンの発見を容易にする方法を示す。
  論文  参考訳（メタデータ） (2023-09-22T16:06:26Z)
• Tales from the Git: Automating the detection of secrets on code and assessing developers' passwords choices [8.086010366384247]
  これは、異なるプログラミング言語とコンテキストにわたるパスワード選択における開発者の特性を調査する最初の研究である。 デベロッパーは、公開リポジトリのコードを不注意にリークしたかもしれないが、われわれの調査結果は、より安全なパスワードを使う傾向があることを示している。
  論文  参考訳（メタデータ） (2023-07-03T09:44:10Z)
• PassGPT: Password Modeling and (Guided) Generation with Large Language Models [59.11160990637616]
  パスワード生成のためのパスワードリークをトレーニングした大規模言語モデルであるPassGPTを提案する。 また、任意の制約を満たすパスワードを生成するために、PassGPTサンプリング手順を利用する誘導パスワード生成の概念も導入する。
  論文  参考訳（メタデータ） (2023-06-02T13:49:53Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• RiDDLE: Reversible and Diversified De-identification with Latent Encryptor [57.66174700276893]
  本研究は、Reversible and Diversified De-identification with Latent Encryptorの略であるRiDDLEを提示する。 事前に学習したStyleGAN2ジェネレータ上に構築されたRiDDLEは、潜伏空間内の顔のアイデンティティを暗号化して復号する。
  論文  参考訳（メタデータ） (2023-03-09T11:03:52Z)
• Universal Neural-Cracking-Machines: Self-Configurable Password Models from Auxiliary Data [21.277402919534566]
  ユニバーサルパスワードモデル(ユニバーサルパスワードモデル、Universal password model)は、ターゲットシステムに基づく推測戦略を適応させるパスワードモデルである。 これは、ユーザの補助情報、例えばメールアドレスをプロキシ信号として利用して、基盤となるパスワードの配布を予測する。
  論文  参考訳（メタデータ） (2023-01-18T16:12:04Z)
• Targeted Honeyword Generation with Language Models [5.165256397719443]
  ハニーワードは、パスワード違反を特定するためにデータベースに挿入された架空のパスワードである。 大きな問題は、実際のパスワードと区別が難しいハニーワードの作り方だ。
  論文  参考訳（メタデータ） (2022-08-15T00:06:29Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。