論文の概要: TempCharBERT: Keystroke Dynamics for Continuous Access Control Based on Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2411.07224v1
• Date: Mon, 11 Nov 2024 18:44:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:45.084985
• Title: TempCharBERT: Keystroke Dynamics for Continuous Access Control Based on Pre-trained Language Models
• Title（参考訳）: TempCharBERT:事前学習言語モデルに基づく連続アクセス制御のためのキーストロークダイナミクス
• Authors: Matheus Simão, Fabiano Prado, Omar Abdul Wahab, Anderson Avila,
• Abstract要約: 本稿では,キーストロークダイナミクスを認識するために,事前学習言語モデル(PLM)を提案する。 この制限を克服するために,CharBERTの埋め込み層に時間特性情報を組み込んだアーキテクチャであるTempCharBERTを提案する。
• 参考スコア（独自算出の注目度）: 0.33748750222488655
• License:
• Abstract: With the widespread of digital environments, reliable authentication and continuous access control has become crucial. It can minimize cyber attacks and prevent frauds, specially those associated with identity theft. A particular interest lies on keystroke dynamics (KD), which refers to the task of recognizing individuals' identity based on their unique typing style. In this work, we propose the use of pre-trained language models (PLMs) to recognize such patterns. Although PLMs have shown high performance on multiple NLP benchmarks, the use of these models on specific tasks requires customization. BERT and RoBERTa, for instance, rely on subword tokenization, and they cannot be directly applied to KD, which requires temporal-character information to recognize users. Recent character-aware PLMs are able to process both subwords and character-level information and can be an alternative solution. Notwithstanding, they are still not suitable to be directly fine-tuned for KD as they are not optimized to account for user's temporal typing information (e.g., hold time and flight time). To overcome this limitation, we propose TempCharBERT, an architecture that incorporates temporal-character information in the embedding layer of CharBERT. This allows modeling keystroke dynamics for the purpose of user identification and authentication. Our results show a significant improvement with this customization. We also showed the feasibility of training TempCharBERT on a federated learning settings in order to foster data privacy.
• Abstract（参考訳）: デジタル環境の普及に伴い、信頼性の高い認証と継続的なアクセス制御が重要になっている。 サイバー攻撃を最小限に抑え、詐欺を防げる。 キーストローク力学(キーストロークダイナミクス、英: keytroke dynamics、KD)は、キーストローク力学(英: keytroke dynamics、KD)とは、キーストローク力学(英: keytroke dynamics)と呼ばれる、キーストローク力学(英: keytroke dynamics、KD)の一種。 本研究では,そのようなパターンを認識するために,事前学習言語モデル(PLM)を提案する。 PLMは複数のNLPベンチマークで高い性能を示しているが、特定のタスクでこれらのモデルを使用するにはカスタマイズが必要である。 例えばBERTとRoBERTaはサブワードのトークン化に依存しており、ユーザを認識するために時間特性情報を必要とするKDに直接適用することはできない。 最近のPLMはサブワードと文字レベルの情報の両方を処理でき、代替のソリューションになり得る。 それでも、ユーザの時間的タイピング情報(例えば、保持時間と飛行時間)を考慮して最適化されていないため、KDを直接微調整するのは相変わらず適していない。 この制限を克服するために,CharBERTの埋め込み層に時間特性情報を組み込んだアーキテクチャであるTempCharBERTを提案する。 これにより、ユーザ識別と認証を目的としたキーストロークダイナミクスのモデリングが可能になる。 我々の結果は、このカスタマイズによって大幅に改善された。 また,データプライバシ向上のため,フェデレーション付き学習環境におけるTempCharBERTトレーニングの実現可能性を示した。

関連論文リスト

• Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering [108.2131720470005]
  大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 彼らはしばしば、入力コンテキストを完全に理解し、効果的に利用するのに苦労し、不信または幻覚的な反応をもたらす。 本稿では,重要な文脈情報を自動的に識別し,LLMの注意点を制御して強調する手法であるAutoPASTAを提案する。
  論文  参考訳（メタデータ） (2024-09-16T23:52:41Z)
• Prompt-Time Ontology-Driven Symbolic Knowledge Capture with Large Language Models [0.0]
  本稿では,ナレッジグラフを用いたユーザプロンプトからの個人情報の取得について検討する。 我々は、個人情報をモデル化するKNOWオントロジーのサブセットを使用して、これらの概念に基づいて言語モデルを訓練する。 そして、特別に構築されたデータセットを用いて、知識捕捉の成功を評価する。
  論文  参考訳（メタデータ） (2024-05-22T21:40:34Z)
• SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language Models for Private and Secure Inference [6.0189674528771]
  本稿では、ディープラーニングモデルに関連するプライバシとセキュリティの問題に対処する。 ディープニューラルネットワークモデルは、現代のAIベースの様々なアプリケーションにおいて重要なコンポーネントとして機能する。 パスキー暗号化されたユーザ固有テキストに対して,トランスフォーマーに基づく言語モデルを適応し,微調整する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-28T19:55:11Z)
• Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs [80.48606583629123]
  PASTAは、大きな言語モデルでユーザーが指定した強調マークでテキストを読むことができる方法である。 LLMのユーザ命令に従う能力を大幅に強化したり、ユーザ入力から新たな知識を統合することができる。
  論文  参考訳（メタデータ） (2023-11-03T22:56:43Z)
• Improving Input-label Mapping with Demonstration Replay for In-context Learning [67.57288926736923]
  In-context Learning (ICL)は、大規模な自己回帰言語モデルの出現する能力である。 Sliding Causal Attention (RdSca) と呼ばれる新しいICL法を提案する。 ICL実験において,本手法は入力ラベルマッピングを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-10-30T14:29:41Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Context-Aware Differential Privacy for Language Modeling [41.54238543400462]
  本稿では,CADP-LM(Context-Aware Differentially Private Language Model)を紹介する。 CADP-LMは、潜在的にセンシティブな情報を定義し、監査するために、エンフコンテクスの概念に依存している。 CADP-LMのユニークな特徴は、センシティブな文や文脈のみの保護を目標とする能力である。
  論文  参考訳（メタデータ） (2023-01-28T20:06:16Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision [6.8904125699168075]
  本稿では,BERTモデルを電子商取引ユーザデータに拡張し,自己教師型で表現を事前学習する。 文中の単語に類似したシーケンスでユーザアクションを見ることにより、既存のBERTモデルをユーザ行動データに拡張する。 本稿では,異なる種類のユーザ行動シーケンスのトークン化,入力表現の生成,および事前学習されたモデルが自身の入力から学習できるようにするための新しいプレテキストタスクを提案する。
  論文  参考訳（メタデータ） (2022-02-14T08:31:36Z)
• Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings [56.93025161787725]
  Federated Learning(FL)は、クライアントをコーディネートして、ローカルデータを共有せずにモデルを協調的にトレーニングする分散機械学習パラダイムである。 本稿では,共有勾配やモデルパラメータからクライアントの機密属性情報を推測する属性推論攻撃フレームワークを提案する。 FLを用いて学習したSERシステムに対して,属性推論攻撃が達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-12-26T16:50:42Z)
• Time-Aware Language Models as Temporal Knowledge Bases [39.00042720454899]
  言語モデル(LM)は特定のタイミングで収集されたデータのスナップショットに基づいて訓練される。 本稿では,時間とともに変化する事実的知識に対するLMの探索を目的とした診断データセットを提案する。 本稿では,テキストをタイムスタンプでモデル化する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T06:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。