論文の概要: Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

• arxiv url: http://arxiv.org/abs/2606.16461v1
• Date: Mon, 15 Jun 2026 09:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.27524
• Title: Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference
• Title（参考訳）: 対称性からのプライバシー:LLM推論のための直交同変変換器
• Authors: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč,
• Abstract要約: 分割推論はしばしば非現実的であり、機密テキストの推論をサードパーティプロバイダにプッシュする。 我々は、軽量な正規化変更を通じて、正確に$mathrmO(d)$-equivariantであるトランスフォーマー変種であるConjFormerを紹介した。
• 参考スコア（独自算出の注目度）: 45.663066206650115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Running large language models locally is often impractical, pushing inference on sensitive text to third-party providers. Split inference partially mitigates this by keeping tokens on the client and sending only hidden representations, but these representations can still be recovered via nearest-neighbor search against the public embedding table. We propose an orthogonal obfuscation procedure in which the client multiplies embeddings by a secret orthogonal matrix before transmission. To enable correct inference under arbitrary rotations, we introduce ConjFormer, a transformer variant that is exactly $\mathrm{O}(d)$-equivariant via a lightweight normalization change (scalar RMSNorm) together with blockwise orthogonal conjugation of all linear weights. As a result, the server performs the full forward pass entirely in the rotated basis and never observes unrotated hidden states. Experiments on GPT-2 and Llama 3.2 1B models fine-tuned on PubMed show that orthogonal obfuscation eliminates direct cosine nearest-neighbor inversion and reduces token recovery from over 35% top-10 to at most 1.3%, while increasing perplexity by only 0.4% after fine-tuning. These results indicate that enforcing symmetry at the architectural level can provide a practical defense for privacy-preserving LLM inference without noise injection or heavy cryptographic machinery.
• Abstract（参考訳）: 大規模な言語モデルをローカルに実行することは、多くの場合非現実的であり、センシティブなテキストの推測をサードパーティプロバイダにプッシュする。 Split推論は、トークンをクライアントに保持し、隠れた表現のみを送信することによって、これを部分的に緩和するが、これらの表現は、公開埋め込みテーブルに対する最も近い隣の検索によって、回復することができる。 本稿では,送信前の秘密直交行列による埋め込みをクライアントが乗算する直交難読化手法を提案する。 任意の回転の下で正しい推論を可能にするために、すべての線形重みのブロック右直交共役とともに、軽量正規化変化(スカラー RMSNorm)を通して正確に$\mathrm{O}(d)$-equivariant となる変圧器変種であるConjFormerを導入する。 その結果、サーバは全フォワードパスを全回転ベースで実行し、不正な隠蔽状態を観測しない。 GPT-2 と Llama 3.2 1B のモデルがPubMed で微調整された実験により、直交難読化は直交の近隣の逆転を排除し、トークンの回復を 35% のトップ10 から 最大 1.3% に削減し、微調整後の難易度は 0.4% に向上した。 これらの結果から, アーキテクチャレベルでの対称性の強化は, ノイズ注入や重度暗号装置を使わずに, プライバシ保護型LLM推論の実践的防御に役立つことが示唆された。

関連論文リスト

• The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment [53.510840985295154]
  狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T19:32:00Z)
• Overconfident Errors Need Stronger Correction: Asymmetric Confidence Penalties for Reinforcement Learning [17.384089089363382]
  既存の手法が見落としている根本原因を同定する。 現在のアプローチでは、グループ内のすべての誤ったロールアウトを同一に扱う。 非対称信頼度を考慮した誤り罰(ACE)を提案する。
  論文  参考訳（メタデータ） (2026-02-24T22:46:43Z)
• Rethinking Weight Tying: Pseudo-Inverse Tying for Stable LM Training and Updates [22.84428628659889]
  Pseudo-Inverse Tyingはトレーニングを通じて擬似逆整合インターフェースを保証する。 256M-1.3Bパラメータにまたがるデバイス上でのPITを評価する。
  論文  参考訳（メタデータ） (2026-02-04T13:44:53Z)
• One-Shot Federated Ridge Regression: Exact Recovery via Sufficient Statistic Aggregation [0.7106986689736825]
  フェデレート・リッジ回帰(Federated ridge regression)は、各クライアントが局所的な十分な統計を計算し、一度送信する分散平衡問題である。 我々は、クライアント1回に1回ノイズが注入された場合の差分プライバシー保証を確立し、マルチラウンドプロトコルのプライバシを低下させる構成ペナルティを排除した。 合成ヘテロジニアス回帰の実験では、単発核融合はFedAvgの精度と一致し、通信コストは最大38時間以下であることが示されている。
  論文  参考訳（メタデータ） (2026-01-13T04:47:22Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。