論文の概要: Efficient Softmax Reformulation for Homomorphic Encryption via Moment Generating Function

• arxiv url: http://arxiv.org/abs/2602.01621v1
• Date: Mon, 02 Feb 2026 04:33:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.898372
• Title: Efficient Softmax Reformulation for Homomorphic Encryption via Moment Generating Function
• Title（参考訳）: モーメント生成関数による同型暗号化のためのソフトマックスの効率的な修正
• Authors: Hanjun Park, Byeong-Seo Min, Jiheon Woo, Min-Wook Jeong, Jongho Shin, Yongwoo Lee, Young-Sik Kim, Yongjune Kim,
• Abstract要約: MGF-softmaxはモーメント生成関数に基づく新しいソフトマックス再構成である。 暗号化推論におけるソフトマックスの効率的かつ正確な近似を提供する。
• 参考スコア（独自算出の注目度）: 6.124433622051914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Homomorphic encryption (HE) is a prominent framework for privacy-preserving machine learning, enabling inference directly on encrypted data. However, evaluating softmax, a core component of transformer architectures, remains particularly challenging in HE due to its multivariate structure, the large dynamic range induced by exponential functions, and the need for accurate division during normalization. In this paper, we propose MGF-softmax, a novel softmax reformulation based on the moment generating function (MGF) that replaces the softmax denominator with its moment-based counterpart. This reformulation substantially reduces multiplicative depth while preserving key properties of softmax and asymptotically converging to the exact softmax as the number of input tokens increases. Extensive experiments on Vision Transformers and large language models show that MGF-softmax provides an efficient and accurate approximation of softmax in encrypted inference. In particular, it achieves inference accuracy close to that of high-depth exact methods, while requiring substantially lower computational cost through reduced multiplicative depth.
• Abstract（参考訳）: ホモモルフィック暗号化(HE)は、プライバシー保護機械学習のための顕著なフレームワークであり、暗号化されたデータに直接推論を可能にする。 しかし、変圧器アーキテクチャのコアコンポーネントであるソフトマックスの評価は、多変量構造、指数関数によって誘導される大きなダイナミックレンジ、正規化時の正確な分割の必要性により、HEにおいて特に困難である。 本稿では,モーメント生成関数(MGF)に基づく新しいソフトマックス修正法であるMGF-softmaxを提案する。 この改質は、入力トークンの数が増加するにつれて、ソフトマックスの鍵特性を保ち、正確にソフトマックスに漸近的に収束しながら乗法的な深さを著しく減少させる。 ビジョントランスフォーマーと大規模言語モデルに関する大規模な実験により、MGF-softmaxは暗号化推論におけるソフトマックスの効率的かつ正確な近似を提供することが示された。 特に、乗算深度を減らして計算コストを大幅に削減しつつ、高精度な精度で推定精度を向上する。

関連論文リスト

• Unpacking Softmax: How Temperature Drives Representation Collapse, Compression, and Generalization [15.458541841436967]
  モデルの表現を形作る際に,ソフトマックス関数が果たす重要な役割について検討する。 ランク欠陥バイアスという概念は、ソフトマックスに基づくディープネットワークがクラス数よりもはるかに低いランクの解を見出す現象である。 本研究では,ソフトマックスのダイナミックスを利用して圧縮表現を学習するか,あるいはアウト・オブ・ディストリビューションデータ上での性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2025-06-02T11:38:10Z)
• Self-Adjust Softmax [62.267367768385434]
  ソフトマックス関数はトランスフォーマーアテンションにおいて重要であり、アテンションスコアの各行を1にまとめて正規化する。 この問題に対処するために、$softmax(x)$を$x cdot Softmax(x)$に修正し、その正規化された変種である$frac(x - min(x_min,0))max(0,x_max)-min(x_min,0)cdot softmax(x)$を変更することを提案する。
  論文  参考訳（メタデータ） (2025-02-25T15:07:40Z)
• r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
  本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。 我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
  論文  参考訳（メタデータ） (2023-04-11T14:28:29Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Sparse-softmax: A Simpler and Faster Alternative Softmax Transformation [2.3813678058429626]
  ソフトマックス関数は、多クラス分類問題に対する人工ニューラルネットワークで広く用いられている。 本稿では,従来のソフトマックスで発生した問題を高次元の分類問題の観点から緩和するために,単純で簡潔なソフトマックス変種であるスパース・ソフトマックスについて実証的研究を行う。
  論文  参考訳（メタデータ） (2021-12-23T09:53:38Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Optimal Approximation -- Smoothness Tradeoffs for Soft-Max Functions [73.33961743410876]
  ソフトマックス関数は近似と滑らかさの2つの主要な効率尺度を持つ。 近似と滑らか性の異なる尺度に対する最適近似-滑らか性トレードオフを同定する。 これにより、新しいソフトマックス関数が生まれ、それぞれ異なる用途に最適である。
  論文  参考訳（メタデータ） (2020-10-22T05:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。