Fugu-MT 論文翻訳(概要): Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation

論文の概要: Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation

arxiv url: http://arxiv.org/abs/2505.05648v1
Date: Thu, 08 May 2025 21:08:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-12 20:40:10.086952
Title: Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation
Title（参考訳）: プライバシを保存するトランスフォーマー:SwiftKeyの差分プライバシ実装
Authors: Abdelrahman Abouelenin, Mohamed Abdelrehim, Raffy Fahim, Amr Hendy, Mohamed Afify,
Abstract要約: 生成したGRUと比較して,メモリと速度の優雅な増加とともに,次の単語の予測と精度が小さく,一貫した向上が得られることを示す。トランスは、柔軟性と効率性の両方を提供するONNXを使って統合されている。
参考スコア（独自算出の注目度）: 6.783466987200124
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper we train a transformer using differential privacy (DP) for language modeling in SwiftKey. We run multiple experiments to balance the trade-off between the model size, run-time speed and accuracy. We show that we get small and consistent gains in the next-word-prediction and accuracy with graceful increase in memory and speed compared to the production GRU. This is obtained by scaling down a GPT2 architecture to fit the required size and a two stage training process that builds a seed model on general data and DP finetunes it on typing data. The transformer is integrated using ONNX offering both flexibility and efficiency.
Abstract（参考訳）: 本稿では,SwiftKeyの言語モデリングに差分プライバシ(DP)を用いたトランスフォーマーのトレーニングを行う。複数の実験を行い、モデルのサイズ、実行速度、精度のトレードオフをバランスさせました。生成したGRUと比較して,メモリと速度の優雅な増加とともに,次の単語の予測と精度が小さく,一貫した向上が得られることを示す。これは、GPT2アーキテクチャをスケールダウンして必要なサイズに適合し、一般的なデータ上にシードモデルを構築し、DPがタイピングデータにそれを微調整する2段階のトレーニングプロセスによって得られる。トランスは、柔軟性と効率性の両方を提供するONNXを使って統合されている。

関連論文リスト

Differential Transformer [99.5117269150629]
トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
論文参考訳（メタデータ） (2024-10-07T17:57:38Z)
Demystifying the Communication Characteristics for Distributed Transformer Models [2.849208476795592]
本稿ではトランスモデルの通信挙動について検討する。我々はGPTに基づく言語モデルをトランスフォーマーアーキテクチャの汎用性によるケーススタディとして用いている。高いレベルでは、我々の分析により、より小さなメッセージポイントツーポイント通信を最適化する必要性が明らかになる。
論文参考訳（メタデータ） (2024-08-19T17:54:29Z)
Efficient Language Model Architectures for Differentially Private Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文参考訳（メタデータ） (2024-03-12T22:21:48Z)
Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers [56.00476706550681]
Table Transformer(TabTransformer)は最先端のニューラルネットワークモデルであり、差分プライバシ(DP)はデータのプライバシを確保する上で不可欠なコンポーネントである。本稿では,これら2つの側面を組み合わせ,伝達学習のシナリオで組み合わせることのメリットについて考察する。
論文参考訳（メタデータ） (2023-09-12T19:08:26Z)
When to Use Efficient Self Attention? Profiling Text, Speech and Image Transformer Variants [39.00433193973159]
本研究は,テキスト,音声,視覚にまたがる自己注意型トランスフォーマーの効率性に関する,最初の統一的研究である。効率の良いトランスフォーマー変種がバニラモデルよりも効率的になる入力長閾値(タイピング点)を同定する。そこで本研究では,L-HuBERTを導入した。L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L-HuBERT,L -HuBERT,L-H
論文参考訳（メタデータ） (2023-06-14T17:59:02Z)
A Length-Extrapolatable Transformer [98.54835576985664]
長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。注目度を最大化するために,相対的な位置埋め込みを導入する。言語モデルを用いてトランスフォーマーの変種を評価する。
論文参考訳（メタデータ） (2022-12-20T18:56:20Z)
Explicitly Increasing Input Information Density for Vision Transformers on Small Datasets [26.257612622358614]
ビジョントランスフォーマーはビジョンタスクにおけるビジョントランスフォーマー(ViT)の実装が成功して以来、近年多くの注目を集めている。本稿では,周波数領域における入力情報密度を明示的に向上することを提案する。 5つの小規模データセットに対して提案手法の有効性を示す実験を行った。
論文参考訳（メタデータ） (2022-10-25T20:24:53Z)
FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
論文参考訳（メタデータ） (2021-05-09T03:32:48Z)
Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
相対位置符号化方式を音声変換器に適用する。その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
論文参考訳（メタデータ） (2020-05-20T09:53:06Z)
Transformer on a Diet [81.09119185568296]
トランスフォーマーは、効率よくシーケンス情報をキャプチャできる能力のおかげで、広く使われている。 BERT や GPT-2 のような最近の開発は、有効性を重視した重いアーキテクチャしか提供していない。計算量が少ないトランスフォーマーが競合する結果をもたらすかどうかを調べるために, 慎重に設計された3つの光トランスフォーマーアーキテクチャを探索する。
論文参考訳（メタデータ） (2020-02-14T18:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。