論文の概要: Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks

• arxiv url: http://arxiv.org/abs/2608.28843v1
• Date: Fri, 28 Aug 2026 20:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.766413
• Title: Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
• Title（参考訳）: Smooth Transformer Feed-Forward Networkの曲率解析
• Authors: Munawar Hasan, Apostol Vassilev,
• Abstract要約: 本研究では,2層フィードフォワードネットワーク(FFN)が付加的な構造モデル抽出チャネルを公開することを示す。 我々は、プロジェクションされた入力ヘッセンが同じ隠れ対称ランク1因子の異なる混合を形成する2階リークチャネルを利用する。 独立に訓練されたCIFAR-10視覚変換器では、8193のブラックボックスクエリに対応する16個のヘッセンのみが隠れたFFN方向を復元する。
• 参考スコア（独自算出の注目度）: 0.20313422213594776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that smooth two-layer feed-forward networks (FFNs) expose an additional structural model extraction channel under a chosen-input raw-output oracle at the FFN branch; consider transformer FFN branches with GELU or SiLU activations under chosen-input raw-output access, without access to parameters, gradients, or internal activations; exploit a second-order leakage channel in which projected input Hessians form different mixtures of the same hidden symmetric rank-one factors induced by the FFN input weights. We formalize resulting Hessian collection as a partially symmetric decomposition to establish conditions for local identifiability and stability to exploit vector-output stencil reuse to reduce the structural query cost by a factor of 16. On independently trained CIFAR-10 vision transformers, only 16 projected Hessians, corresponding to 8193 black-box queries, recover the hidden FFN directions with average absolute cosine alignment above 0.94, with 95.1 % of GELU and 91.9 % of SiLU directions exceeding 0.90 alignment. Recovery remains high across independently trained models, repeated extraction runs, and all transformer blocks. The recovered structure supports functional extraction too. Keeping the recovered directions fixed and fitting only the remaining FFN parameters yields high-fidelity substitutes with more than 93 % top-1 agreement, while test accuracy remains within 0.90% and 0.62% of the GELU and SiLU targets. Output rounding and Gaussian noise substantially reduce recovery under a fixed attack configuration, but adapting the finite-difference step restores average alignment to 0.9603 and 0.9398. This is an end-to-end path from black-box second-order observations to hidden FFN-structure recovery and functional replacement. Under the stated oracle model, smooth FFN curvature exposes internal parameter geometry that behavioral fidelity alone cannot reveal.
• Abstract（参考訳）: FFNの入力重みによって引き起こされる同じ対称なランク1因子の異なる混合物を形成する2階リークチャネルを,パラメータ,勾配,内部のアクティベーションにアクセスせずに,GELUまたはSiLUアクティベートされたトランスフォーマーFFNブランチをパラメータ,勾配,あるいは内部のアクティベートする。 得られたヘシアンコレクションを部分対称分解として形式化し,局所的識別性と安定性の条件を確立し,ベクトル出力ステンシルの再利用を利用して構造クエリコストを16倍に削減する。 独立に訓練されたCIFAR-10視覚変換器では、8193のブラックボックスクエリに対応する16個のヘシアンのみが、平均絶対コサインアライメント0.94以上で隠れたFFN方向を復元し、GELUの95.1 %、SiLUの91.9 %はアライメント0.90を超える。 回復は、独立に訓練されたモデル、繰り返し抽出実行、およびすべてのトランスフォーマーブロックにわたって高いままである。 回収された構造は、機能的抽出もサポートする。 回収された方向を固定し、残りのFFNパラメータのみを適合させると、93%以上のトップ-1合意で高忠実度代替品が得られるが、試験精度はGELUとSiLUの目標の0.90%と0.62%に留まる。 出力ラウンドリングとガウスノイズは、固定された攻撃構成下でのリカバリを大幅に低減するが、有限差分ステップを適用すると平均アライメントが0.9603と0.9398に復元される。 これはブラックボックスの2次観測から隠れたFFN構造回復と機能的な置換まで、エンドツーエンドの経路である。 述べられたオラクルモデルの下では、滑らかなFFN曲率によって、挙動の忠実性だけでは明らかにできない内部パラメーターが露出する。

関連論文リスト

• Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
  事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。 クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。 FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:38:41Z)
• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• Post-Operative Glioma Segmentation via Loss Stabilization, Normalization and Subspace Attention [46.03321798937855]
  ドメインシフトの際,GDL(Generalized Dice Loss)が不安定であることを示す。 本稿では,ボトルネック機能を再校正するサブスペース・アウェア・クラス・アテンション(SACA)モジュールを提案し,腫瘍の感度を8%向上させる。
  論文  参考訳（メタデータ） (2026-07-23T09:59:30Z)
• The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP [6.450516062706025]
  CLIPのような共同埋め込みアーキテクチャでは、量子化されたCNN分類器とは異なる障害モードが導入されている。 我々はこれをQIRC(Quantization-induced Representation Collapse)と呼び、CLIP ViT-B/32を置き換えるINT8上で定量化する。 雑音飽和層をバイパスするLRA-EE(Layer-wise Representation-Aware Early Exit)を提案する。 ImageNet-1K ゼロショット分類では、LRA-EE は FLOP を 13.4% 削減し、Top-1 の精度を +2.44%p (58.72% -> 61.16%) 向上させる。
  論文  参考訳（メタデータ） (2026-05-26T00:45:46Z)
• Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams [0.0]
  有害な意図は、大きな言語モデル残ストリームから幾何的に回復可能である。 我々はこの幾何学を6つの方向決定戦略によって特徴づける。 AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。
  論文  参考訳（メタデータ） (2026-04-20T23:02:37Z)
• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。