論文の概要: MAYA: Addressing Inconsistencies in Generative Password Guessing through a Unified Benchmark
- arxiv url: http://arxiv.org/abs/2504.16651v1
- Date: Wed, 23 Apr 2025 12:16:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 16:32:09.50022
- Title: MAYA: Addressing Inconsistencies in Generative Password Guessing through a Unified Benchmark
- Title(参考訳): MAYA:統一ベンチマークによる生成パスワード誘導の不整合に対処する
- Authors: William Corrias, Fabio De Gaspari, Dorjan Hitaj, Luigi V. Mancini,
- Abstract要約: 我々は、統一的でカスタマイズ可能なプラグイン・アンド・プレイ・パスワード・ベンチマークフレームワークであるMAYAを紹介した。
MAYAは、生成パスワードゲスティングモデルを評価するための標準化されたアプローチを提供する。
シーケンシャルモデルは、他の生成的アーキテクチャや従来のパスワード処理ツールよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 0.35998666903987897
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid evolution of generative models has led to their integration across various fields, including password guessing, aiming to generate passwords that resemble human-created ones in complexity, structure, and patterns. Despite generative model's promise, inconsistencies in prior research and a lack of rigorous evaluation have hindered a comprehensive understanding of their true potential. In this paper, we introduce MAYA, a unified, customizable, plug-and-play password benchmarking framework. MAYA provides a standardized approach for evaluating generative password-guessing models through a rigorous set of advanced testing scenarios and a collection of eight real-life password datasets. Using MAYA, we comprehensively evaluate six state-of-the-art approaches, which have been re-implemented and adapted to ensure standardization, for a total of over 15,000 hours of computation. Our findings indicate that these models effectively capture different aspects of human password distribution and exhibit strong generalization capabilities. However, their effectiveness varies significantly with long and complex passwords. Through our evaluation, sequential models consistently outperform other generative architectures and traditional password-guessing tools, demonstrating unique capabilities in generating accurate and complex guesses. Moreover, models learn and generate different password distributions, enabling a multi-model attack that outperforms the best individual model. By releasing MAYA, we aim to foster further research, providing the community with a new tool to consistently and reliably benchmark password-generation techniques. Our framework is publicly available at https://github.com/williamcorrias/MAYA-Password-Benchmarking
- Abstract(参考訳): 生成モデルの急速な進化により、パスワード推測を含む様々な分野への統合が実現され、複雑化、構造、パターンにおいて、人間が作成したものに似たパスワードを生成することを目指している。
生成モデルの約束にもかかわらず、先行研究の不整合と厳密な評価の欠如により、それらの真の可能性に対する包括的理解が妨げられている。
本稿では,統一的でカスタマイズ可能なプラグイン・アンド・プレイ・パスワード・ベンチマークフレームワークであるMAYAを紹介する。
MAYAは、厳格な高度なテストシナリオと8つの実生活パスワードデータセットのコレクションを通じて、生成パスワードゲスティングモデルを評価するための標準化されたアプローチを提供する。
我々はMAYAを用いて6つの最先端の手法を総合的に評価し、15,000時間を超える計算を標準化するために再実装し、適応した。
以上の結果から,これらのモデルが人間のパスワード分布の異なる側面を効果的に捉え,強力な一般化能力を示すことが示唆された。
しかし、その有効性は長いパスワードと複雑なパスワードで大きく異なる。
評価を通じて、シーケンシャルモデルは、他の生成的アーキテクチャや従来のパスワード処理ツールを一貫して上回り、正確で複雑な推測を生成するユニークな能力を示している。
さらに、モデルは異なるパスワード分布を学習し、生成し、最高の個別モデルより優れたマルチモデルアタックを可能にする。
我々はMAYAをリリースすることによってさらなる研究を促進することを目指しており、パスワード生成技術を一貫して確実にベンチマークするための新しいツールをコミュニティに提供する。
私たちのフレームワークはhttps://github.com/williamcorrias/MAYA-Password-Benchmarkingで公開されています。
関連論文リスト
- Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2~3倍の高速化を実現した。
論文 参考訳(メタデータ) (2024-07-22T18:00:00Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。
アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。
この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Dictionary Attack on IMU-based Gait Authentication [2.204806197679781]
スマートフォンに内蔵された慣性計測ユニット(IMU)によって記録された歩行パターンを利用する認証システムに対する新たな逆方向モデルを提案する。
攻撃のアイデアは、知識(PINまたはパスワード)ベースの認証システムに対する辞書攻撃という概念にインスパイアされ、命名された。
論文 参考訳(メタデータ) (2023-09-21T04:00:21Z) - PassGPT: Password Modeling and (Guided) Generation with Large Language
Models [59.11160990637616]
パスワード生成のためのパスワードリークをトレーニングした大規模言語モデルであるPassGPTを提案する。
また、任意の制約を満たすパスワードを生成するために、PassGPTサンプリング手順を利用する誘導パスワード生成の概念も導入する。
論文 参考訳(メタデータ) (2023-06-02T13:49:53Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳(メタデータ) (2023-02-08T11:54:07Z) - Universal Neural-Cracking-Machines: Self-Configurable Password Models
from Auxiliary Data [21.277402919534566]
ユニバーサルパスワードモデル(ユニバーサルパスワードモデル、Universal password model)は、ターゲットシステムに基づく推測戦略を適応させるパスワードモデルである。
これは、ユーザの補助情報、例えばメールアドレスをプロキシ信号として利用して、基盤となるパスワードの配布を予測する。
論文 参考訳(メタデータ) (2023-01-18T16:12:04Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳(メタデータ) (2022-05-19T01:27:53Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - Benchmarking Robustness of Machine Reading Comprehension Models [29.659586787812106]
我々は,4種類の敵攻撃下でのMRCモデルのロバスト性を評価するためのモデルに依存しない新しいベンチマークAdvRACEを構築した。
最新のSOTA(State-of-the-art)モデルがこれらすべての攻撃に対して脆弱であることを示す。
我々は、より堅牢なMCCモデルを構築する余地があることを結論し、我々のベンチマークはこの分野の進歩を動機づけ、測定するのに役立ちます。
論文 参考訳(メタデータ) (2020-04-29T08:05:32Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。