論文の概要: Noise Stability of Transformer Models

• arxiv url: http://arxiv.org/abs/2602.08287v1
• Date: Mon, 09 Feb 2026 05:43:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.077168
• Title: Noise Stability of Transformer Models
• Title（参考訳）: 変圧器モデルの騒音安定性
• Authors: Themistoklis Haris, Zihan Zhang, Yuichi Yoshida,
• Abstract要約: 平均感度は実数値領域への自然な一般化を欠いていると我々は主張する。 ノイズ安定性は、座標に同時に適用される相関ノイズに対するモデルの堅牢性を表す。 この結果から,ニューラルネットワークにおける信号伝達と解釈可能性の新たな関連性が得られた。
• 参考スコア（独自算出の注目度）: 28.608164171197483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding simplicity biases in deep learning offers a promising path toward developing reliable AI. A common metric for this, inspired by Boolean function analysis, is average sensitivity, which captures a model's robustness to single-token perturbations. We argue that average sensitivity has two key limitations: it lacks a natural generalization to real-valued domains and fails to explain the "junta-like" input dependence we empirically observe in modern LLMs. To address these limitations, we propose noise stability as a more comprehensive simplicity metric. Noise stability expresses a model's robustness to correlated noise applied to all input coordinates simultaneously. We provide a theoretical analysis of noise stability for single-layer attention and ReLU MLP layers and tackle the multi-layer propagation problem with a covariance interval propagation approach. Building on this theory, we develop a practical noise stability regularization method. Experiments on algorithmic and next-token-prediction tasks show that our regularizer consistently catalyzes grokking and accelerates training by approximately $35\%$ and $75\%$ respectively. Our results sculpt a new connection between signal propagation in neural networks and interpretability, with noise stability emerging as a powerful tool for understanding and improving modern Transformers.
• Abstract（参考訳）: ディープラーニングにおける単純さのバイアスを理解することは、信頼できるAIを開発するための有望な道を提供する。 ブール関数解析にインスパイアされた一般的な測定基準は平均感度であり、一点摂動に対するモデルの頑健さを捉えている。 平均感度には2つの重要な制限がある: 実数値領域への自然な一般化が欠如し、現代のLLMで経験的に観察した「ユンタ様」入力依存を説明するのに失敗する。 これらの制約に対処するため、より包括的な簡易な指標としてノイズ安定性を提案する。 ノイズ安定性は、全ての入力座標に同時に適用される相関ノイズに対するモデルの堅牢性を表す。 本稿では,単一層注意層とReLU MLP層に対する雑音安定性の理論解析を行い,共分散間隔伝搬法による多層伝搬問題に対処する。 この理論に基づいて,実用的雑音安定正則化法を開発した。 アルゴリズムによる予測タスクと次の予測タスクの実験では、正規化ツールがグルーキングを一貫して触媒し、トレーニングをそれぞれ約$35\%と$75\%で加速することを示した。 この結果から,ニューラルネットワークにおける信号伝達と解釈可能性の新たな関係が構築され,現代の変圧器の理解と改良のための強力なツールとしてノイズ安定性が出現した。

関連論文リスト

• Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
  マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。 提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-12T03:14:12Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Embedding-Aware Noise Modeling of Quantum Annealing [3.446273281167618]
  D-WaveのZephyrトポロジにおいて,組込みによるオーバーヘッドとハードウェアノイズを結合するフレームワークを開発した。 本研究は、チェーン安定性と論理カプラの忠実度とのトレードオフを説明する一般的な埋め込み型ノイズ・フレームワークを構築した。
  論文  参考訳（メタデータ） (2025-10-06T08:48:25Z)
• Towards Robust Image Denoising with Scale Equivariance [10.894808298340994]
  我々は,空間的一様雑音のトレーニングから,空間的非一様劣化の推論まで,モデルがより適応できるようになることを論じる。 本稿では,HNM (Heterogeneous Normalization Module) とIGM (Interactive Gating Module) の2つの主要コンポーネントを備える頑健なブラインド認知フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-05T00:06:28Z)
• Noise Augmented Fine Tuning for Mitigating Hallucinations in Large Language Models [1.0579965347526206]
  大規模言語モデル(LLM)は、しばしば不正確な、または誤解を招くコンテンツ・ハロシンを生成する。 noise-Augmented Fine-Tuning (NoiseFiT) は適応ノイズ注入を利用してモデルロバスト性を高める新しいフレームワークである。 NoiseFiTは、動的にスケールしたガウス雑音を用いて、高SNR(より堅牢)または低SNR(潜在的に過正規化)と同定された層を選択的に摂動する。
  論文  参考訳（メタデータ） (2025-04-04T09:27:19Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。