論文の概要: Tracing distinguishability through transformer processing with stochastic LayerNorm
- arxiv url: http://arxiv.org/abs/2608.30720v1
- Date: Mon, 31 Aug 2026 12:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.396488
- Title: Tracing distinguishability through transformer processing with stochastic LayerNorm
- Title（参考訳）: 確率層Normを用いた変圧器加工によるトラクション識別性
- Abstract要約: 表現量を与え、類似性を統計的識別可能性に変換する。
我々は、LayerNormへのライトタッチ修正により、事前訓練されたトランスフォーマーでこのアイデアを実現した。
これらの結果は、トランス計算における機能接地レンズとしての識別可能性を確立する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representational similarity is foundational to analyses of deep networks, yet distances between point-valued representations are not intrinsically tied to downstream function: nearby states may produce different behaviors, while distant states may behave similarly. We instead give representations volume, turning similarity into statistical distinguishability. Overlapping stochastic representations necessarily induce overlapping downstream distributions, grounding latent comparison in model function and bringing it under information-theoretic tools such as the data-processing inequality. We realize this idea in pretrained transformers through a light-touch modification to LayerNorm: at each residual-stream read, we normalize the state, add isotropic Gaussian noise, and renormalize. During distillation fine-tuning, one learned allocation parameter per residual-stream read distributes a fixed global rate budget across the processing stack. The resulting model can be viewed as transformer blocks reading the residual stream with learned finite precision under a shared global rate budget. Using the Bhattacharyya coefficient, we trace which counterfactual distinctions are preserved through MLP blocks or selectively exposed to the query, key, and value computations of individual attention heads. Experiments on ViT-S and GPT-2 small reveal the depthwise propagation of continuous visual perturbations and head-specific sensitivity to token distinctions aligned with known attention motifs. These results establish distinguishability as a functionally grounded lens on transformer computation that complements existing interpretability approaches.
- Abstract（参考訳）: 表現の類似性はディープネットワークの分析に基礎を置いているが、ポイント値の表現間の距離は本質的に下流関数と結び付けられていない。
代わりに表現量を与え、類似性を統計的識別可能性に変換する。
重なり合う確率的表現は、必ずしも下流の分布を重複させ、モデル関数の遅延比較を基礎にし、データ処理の不等式のような情報理論ツールにそれをもたらす。
我々は、LayerNormへのライトタッチ修正により、事前学習されたトランスフォーマーにおいて、このアイデアを実現している: 各残差ストリーム読み込みにおいて、状態の正規化、等方的ガウスノイズの追加、再正規化。
蒸留微調整中、残差ストリームリード当たりの1つの学習された割り当てパラメータは、処理スタック全体に固定されたグローバルレート予算を分散する。
得られたモデルは、共有グローバルレート予算の下で学習された有限精度で残ストリームを読み取る変圧器ブロックと見なすことができる。
本稿では,Bhattacharyya係数を用いて,MLPブロックを通じて,あるいは個別のアテンションヘッドのクエリ,キー,値計算に選択的に露出した逆ファクトの区別をトレースする。
ViT-S と GPT-2 の小さな実験では、連続的な視覚摂動の深さ方向の伝播と、既知の注意モチーフに一致したトークンの区別に対する頭部特異的感受性が明らかにされた。
これらの結果は、既存の解釈可能性アプローチを補完する変換器計算における機能接地レンズとしての識別可能性を確立する。
関連論文リスト
- Interior interpretability with attention rollout: contraction and propagation profiles in Transformers [17.72586636966418]
本稿では,内部モデル組織における伝搬的視点であるEmphinterior Interpretabilityを紹介する。
特徴トークン間のアテンションによる伝搬を符号化する行確率演算子としてロールアウトを解釈する。
論文 参考訳（メタデータ） (2026-07-24T14:51:28Z) - DIFF-ERO: A Conformance-Aware Loss for Deep Learning in Process Mining [8.304025820176394]
本稿では,プロセスデータ上でのディープラーニングモデルに対する適合性を考慮した損失関数DIFF-EROを紹介する。
DIFF-EROは、トレーニング中に制御フロー情報を含むエントロピーベースの適合性の微分可能な定式化である。
構造がもっとも重要でありながら、他の場所での同等性を維持しながら、予測性能の向上を示す。
論文 参考訳（メタデータ） (2026-06-12T09:06:05Z) - Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。
残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。
固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
論文 参考訳（メタデータ） (2026-02-16T14:04:42Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。
入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
論文 参考訳（メタデータ） (2024-10-07T23:53:25Z) - Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。
ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳（メタデータ） (2024-05-26T12:25:09Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。
因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。
また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文 参考訳（メタデータ） (2022-03-29T13:07:53Z) - Robust Correction of Sampling Bias Using Cumulative Distribution
Functions [19.551668880584973]
変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。
これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
論文 参考訳（メタデータ） (2020-10-23T22:13:00Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Latent Transformations for Discrete-Data Normalising Flows [15.005894753472894]
我々は、ある変換を決定論的にパラメータ化するのではなく、潜在変換よりも分布を予測できる非バイアスの代替案を提案する。
変換では、データの限界確率は微分可能であり、スコア関数推定による勾配に基づく学習が可能となる。
決定論的プロキシ勾配と偏りのないスコア関数推定の両方で大きな課題を観測する。
論文 参考訳（メタデータ） (2020-06-11T11:41:28Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。