論文の概要: Cryptanalytic Extraction of Isolated Bias-Free GLU Feed-Forward Blocks by Antipodal Separation

• arxiv url: http://arxiv.org/abs/2608.06631v1
• Date: Thu, 06 Aug 2026 22:41:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.301013
• Title: Cryptanalytic Extraction of Isolated Bias-Free GLU Feed-Forward Blocks by Antipodal Separation
• Title（参考訳）: 抗足動物分離法による分離バイアスフリーGLUフィードフォワードブロックのクリプトアナリシス抽出
• Abstract要約: ReLUネットワーク、GELUやSiLUなどのコンポーネントアクティベーションを用いたネットワーク、およびTransformerの最終的なプロジェクションマトリックスに対して、クリプトアナリシス抽出が実証されている。 これらの手法は、多くの現代言語モデルで使われているバイアスのないGated Linear Unitフィードフォワードブロックを復元しない。 我々は、孤立バイアスのないGLUブロックに対して、構成的で多段階のフォワードクエリリカバリプリミティブを提供する。
• 参考スコア（独自算出の注目度）: 6.560534698339666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cryptanalytic extraction has been demonstrated for ReLU networks, for networks using componentwise activations such as GELU or SiLU, and for a Transformer's final projection matrix. These methods do not recover the bias-free Gated Linear Unit (GLU) feed-forward blocks used in many modern language models. Such a block multiplies an activated linear projection by a second learned linear projection within each hidden unit, a two-branch structure absent from the network classes and final-layer setting addressed by those methods. We give a constructive, multi-stage forward-query recovery primitive for isolated bias-free GLU blocks. Finite-difference curvature supplies gate-direction candidates, and paired observations at x and -x separate gate magnitude, orientation, and value-branch coupling. Across high-precision targets, six Qwen layers, an 8,192-unit Llama subproblem, and a full-dimensional Gemma block all reach sub-percent median validation error. Four finite-precision configurations remain below 5 percent median error, but none reproduces every stored weight. These isolated-block experiments are not an end-to-end model-API attack: deriving the required internal block responses from final model outputs remains unsolved.
• Abstract（参考訳）: ReLUネットワーク、GELUやSiLUなどのコンポーネントアクティベーションを用いたネットワーク、およびTransformerの最終的なプロジェクションマトリックスに対して、クリプトアナリシス抽出が実証されている。 これらの手法は、多くの現代言語モデルで使われているGLUフィードフォワードブロックを復元しない。 このようなブロックは、隠れた単位内の第2の学習された線形射影によって活性化された線形射影を乗算し、ネットワーククラスから欠落した2分岐構造と、それらの方法によって対処された最終層の設定を演算する。 我々は、孤立バイアスのないGLUブロックに対して、構成的で多段階のフォワードクエリリカバリプリミティブを提供する。 有限差分曲曲線は、ゲート方向候補と、xと-xの分離ゲート等級、向き、値分岐結合における対の観測を提供する。 高精度なターゲット,6つのQwen層,8,192ユニットのLlamaサブプロブレム,フル次元のGemmaブロックなどはすべて,ほぼ中央値の検証誤差に達している。 4つの有限精度構成は5%の誤差以下であるが、保存された全ての重量を再現することはない。 これらの分離ブロック実験は、エンドツーエンドのモデルAPI攻撃ではない。

関連論文リスト

• SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
  本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。 各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。 5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
  論文  参考訳（メタデータ） (2026-08-25T19:01:58Z)
• TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling [0.0]
  TANGOモデル(Token-Aggregated Gating Operators)を紹介する。 各ソーストークンは、SwiGLUベクトルゲートを生成する。 我々はTANGOとRecurrentとUntied Transformer++、フルアテンションGAU、FLASHを比較した。
  論文  参考訳（メタデータ） (2026-08-22T22:04:39Z)
• CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
  CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。 これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
  論文  参考訳（メタデータ） (2026-07-20T05:27:57Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
  アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。 制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。 GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
  論文  参考訳（メタデータ） (2026-06-18T08:43:33Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations [5.218766876318545]
  LLMのアクティベーションをトレーニングした線形プローブは、騙し検出指標としてますます提案されているが、AUROCは分布シフトの下で崩壊しながらクリーンなベンチマークで0.96を超えることを報告している。 本稿では, Gemma 3 モデルファミリ(1B-27B パラメータ)における圧力-プローブ-ベースの測定値について, 系統的に検討する。 1) 単線方向, (2) 多次元部分空間, (3) 凸円錐殻, (4) エントロピープロキシの4つの仮説を検証した。
  論文  参考訳（メタデータ） (2026-05-27T04:51:55Z)
• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• DDCL: Deep Dual Competitive Learning: A Differentiable End-to-End Framework for Unsupervised Prototype-Based Representation Learning [0.0]
  ディープクラスタリングにおける永続的な構造的弱点は、特徴学習とクラスタ割り当ての切り離しである。 本稿では,教師なし表現学習のためのエンドツーエンドフレームワークであるDeep Dual Competitive Learningを紹介する。
  論文  参考訳（メタデータ） (2026-04-02T08:02:27Z)
• FLARE: Toward Universal Dataset Purification against Backdoor Attacks [16.97677097266535]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃の影響を受けやすい。 隠れたバックドアを埋め込むために、敵に特定されたトリガーを持つ敵の毒のデータセット。 各種バックドア攻撃に対する汎用的浄化法であるFLAREを提案する。
  論文  参考訳（メタデータ） (2024-11-29T05:34:21Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。