論文の概要: IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning

• arxiv url: http://arxiv.org/abs/2510.25262v1
• Date: Wed, 29 Oct 2025 08:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.279961
• Title: IBNorm: Information-Bottleneck Inspired Normalization for Representation Learning
• Title（参考訳）: IBNorm:インフォメーション・ブートネックによる表現学習の正規化
• Authors: Xiandong Zou, Pan Zhou,
• Abstract要約: IB-Inspired Normalization (IBNorm, IB-Inspired Normalization, IB-Inspired Normalization)を提案する。 IBNormは境界圧縮演算を導入し、埋め込みがニュアンス変動を抑制しながら予測情報を保存できるようにする。 IBNormはBatchNorm、LayerNorm、RMSNormを大規模言語モデルで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 20.8699671520575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization is fundamental to deep learning, but existing approaches such as BatchNorm, LayerNorm, and RMSNorm are variance-centric by enforcing zero mean and unit variance, stabilizing training without controlling how representations capture task-relevant information. We propose IB-Inspired Normalization (IBNorm), a simple yet powerful family of methods grounded in the Information Bottleneck principle. IBNorm introduces bounded compression operations that encourage embeddings to preserve predictive information while suppressing nuisance variability, yielding more informative representations while retaining the stability and compatibility of standard normalization. Theoretically, we prove that IBNorm achieves a higher IB value and tighter generalization bounds than variance-centric methods. Empirically, IBNorm consistently outperforms BatchNorm, LayerNorm, and RMSNorm across large-scale language models (LLaMA, GPT-2) and vision models (ResNet, ViT), with mutual information analysis confirming superior information bottleneck behavior. Code will be released publicly.
• Abstract（参考訳）: 正規化はディープラーニングの基本であるが、BatchNorm、LayerNorm、RMSNormといった既存のアプローチは、平均と単位の分散をゼロにすることで分散中心であり、表現がタスク関連情報をどのようにキャプチャするかを制御せずにトレーニングを安定化する。 IB-Inspired Normalization (IBNorm, IB-Inspired Normalization, IB-Inspired Normalization)を提案する。 IBNormは有界圧縮演算を導入し、埋め込みは予測情報の保存を奨励し、ニュアンス変動を抑え、標準正規化の安定性と互換性を維持しつつ、より情報的な表現をもたらす。 理論的には、IBNormは分散中心法よりも高いIB値と厳密な一般化境界を実現する。 IBNormは、大規模な言語モデル(LLaMA、GPT-2)とビジョンモデル(ResNet、ViT)において、BatchNorm、LayerNorm、RMSNormを一貫して上回り、相互情報分析により優れた情報ボトルネックの挙動が確認されている。 コードは公開されます。

関連論文リスト

• Glocal Information Bottleneck for Time Series Imputation [70.41814118117311]
  Time Series Imputationは、時間データの欠落した値を復元することを目的としている。 既存のモデルは、通常、数値(ローカル情報)の回復に焦点をあてて、ポイントワイズ復元損失を最適化する。 我々はGlocal Information Bottleneck(Glocal-IB)という新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-06T15:24:44Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Generalizable Person Re-Identification via Self-Supervised Batch Norm Test-Time Adaption [63.7424680360004]
  Batch Norm Test-time Adaption (BNTA)は、BNパラメータを適応的に更新するための自己教師型戦略を適用する、新しいre-idフレームワークである。 BNTAは、推論前にラベル付けされていないターゲットデータ内のドメイン認識情報を探索し、BNによって正規化された特徴分布を変調してターゲットドメインに適応させる。
  論文  参考訳（メタデータ） (2022-03-01T18:46:32Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter Theory [40.55789598448379]
  バッチ正規化(BatchNorm)は、トレーニング速度と安定性を改善するために、畳み込みニューラルネットワーク(CNN)で一般的に使用される。 本稿では、従来の適応フィルタ領域の概念を用いて、BatchNormの動的および内部動作に関する洞察を提供する。
  論文  参考訳（メタデータ） (2020-02-25T05:25:40Z)
• Training Normalizing Flows with the Information Bottleneck for Competitive Generative Classification [31.964489116544947]
  IB目標を用いてINNを訓練する条件正規化フローのクラスであるIB-INNの理論と方法論を開発する。 本研究では,これらのモデルの特性を実験的に検討し,特に生成型分類器として利用した。
  論文  参考訳（メタデータ） (2020-01-17T17:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。