論文の概要: IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning

• arxiv url: http://arxiv.org/abs/2510.25262v1
• Date: Wed, 29 Oct 2025 08:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.279961
• Title: IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning
• Title（参考訳）: IBNorm:インフォメーション・ブートネックによる表現学習の正規化
• Authors: Xiandong Zou, Pan Zhou,
• Abstract要約: IB-Inspired Normalization (IBNorm, IB-Inspired Normalization, IB-Inspired Normalization)を提案する。 IBNormは境界圧縮演算を導入し、埋め込みがニュアンス変動を抑制しながら予測情報を保存できるようにする。 IBNormはBatchNorm、LayerNorm、RMSNormを大規模言語モデルで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 20.8699671520575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization is fundamental to deep learning, but existing approaches such as BatchNorm, LayerNorm, and RMSNorm are variance-centric by enforcing zero mean and unit variance, stabilizing training without controlling how representations capture task-relevant information. We propose IB-Inspired Normalization (IBNorm), a simple yet powerful family of methods grounded in the Information Bottleneck principle. IBNorm introduces bounded compression operations that encourage embeddings to preserve predictive information while suppressing nuisance variability, yielding more informative representations while retaining the stability and compatibility of standard normalization. Theoretically, we prove that IBNorm achieves a higher IB value and tighter generalization bounds than variance-centric methods. Empirically, IBNorm consistently outperforms BatchNorm, LayerNorm, and RMSNorm across large-scale language models (LLaMA, GPT-2) and vision models (ResNet, ViT), with mutual information analysis confirming superior information bottleneck behavior. Code will be released publicly.
• Abstract（参考訳）: 正規化はディープラーニングの基本であるが、BatchNorm、LayerNorm、RMSNormといった既存のアプローチは、平均と単位の分散をゼロにすることで分散中心であり、表現がタスク関連情報をどのようにキャプチャするかを制御せずにトレーニングを安定化する。 IB-Inspired Normalization (IBNorm, IB-Inspired Normalization, IB-Inspired Normalization)を提案する。 IBNormは有界圧縮演算を導入し、埋め込みは予測情報の保存を奨励し、ニュアンス変動を抑え、標準正規化の安定性と互換性を維持しつつ、より情報的な表現をもたらす。 理論的には、IBNormは分散中心法よりも高いIB値と厳密な一般化境界を実現する。 IBNormは、大規模な言語モデル(LLaMA、GPT-2)とビジョンモデル(ResNet、ViT)において、BatchNorm、LayerNorm、RMSNormを一貫して上回り、相互情報分析により優れた情報ボトルネックの挙動が確認されている。 コードは公開されます。

関連論文リスト

• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification [31.964489116544947]
  IB目標を用いてINNを訓練する条件正規化フローのクラスであるIB-INNの理論と方法論を開発する。 本研究では,これらのモデルの特性を実験的に検討し,特に生成型分類器として利用した。
  論文  参考訳（メタデータ） (2020-01-17T17:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。