論文の概要: Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks

• arxiv url: http://arxiv.org/abs/2605.04946v2
• Date: Tue, 12 May 2026 07:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 18:21:06.640331
• Title: Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
• Title（参考訳）: ピースワイズアフィンネットワークにおける局所分割幾何学の訓練時間バッチ正規化
• Authors: Xuan Qi, Yi Wei, Fanqi Yu, Furao Shen, Vittorio Murino, Cigdem Beyan,
• Abstract要約: バッチ正規化(BN)は、現代のディープネットワークの中心であるが、トレーニング中に実現された機能への影響は、最適化の利点よりも理解されていない。 本研究では,超平面スイッチングと誘導アフィン分割の幾何学的手法を用いて,CPAネットワークにおける訓練時間BNについて検討した。 その結果、データ近傍のバッチ条件更新機構として、訓練時間BNの関数レベルの幾何学的説明を提供する。
• 参考スコア（独自算出の注目度）: 18.837947921030207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) is central to modern deep networks, but its effect on the realized function during training remains less understood than its optimization benefits. We study training-time BN in continuous piecewise-affine (CPA) networks through the geometry of switching hyperplanes and the induced affine-region partition. Conditioned on a mini-batch, we show that BN defines for each neuron a reference hyperplane through the batch centroid, and that breakpoint-switching hyperplanes are parallel translates whose offsets are expressed in batch-standardized coordinates and are independent of the raw bias. This yields an exact criterion for when a switching hyperplane intersects a local $\ell_\infty$ window and motivates a local region-density functional based on exact affine-region counts. Under explicit sufficient conditions, we show that BN increases expected local partition refinement in ReLU and more general piecewise-affine networks, and that this mechanism transfers locally through depth inside parent affine regions where the upstream representation map is an affine embedding. These results provide a function-level geometric account of training-time BN as a batch-conditional recentering mechanism near the data.
• Abstract（参考訳）: バッチ正規化(BN)は、現代のディープネットワークの中心であるが、トレーニング中に実現された機能への影響は、最適化の利点よりも理解されていない。 本研究では,超平面スイッチングと誘導アフィン分割の幾何学的手法を用いて,CPAネットワークにおける訓練時間BNについて検討した。 ミニバッチを条件として, BNは各ニューロンに対して, バッチセントロイドを介して参照超平面を定義するとともに, ブレークポイントスイッチング超平面は, オフセットをバッチ標準座標で表現し, 生バイアスに依存しない並列変換であることを示す。 これにより、スイッチング超平面が局所$\ell_\infty$ウィンドウと交差し、正確なアフィン領域数に基づいて局所領域密度関数を動機付けるときの正確な基準が得られる。 明示的な十分な条件下では、BNはReLUおよびより一般的なピースワイズアフィンネットワークの局所的な分割改善を増大させ、このメカニズムは上流表現写像がアフィン埋め込みである親アフィン領域内の深さを通して局所的に伝達することを示す。 これらの結果は,データ近傍のバッチ条件更新機構として,訓練時間BNの関数レベルの幾何学的説明を提供する。

関連論文リスト

• Local adapt-then-combine algorithms for distributed nonsmooth optimization: Achieving provable communication acceleration [50.67878993903822]
  通信効率のよいAdapt-Then-Combine (ATC) フレームワークであるFlexATCを提案する。 ローカル更新がATCベースの分散アルゴリズムの通信高速化につながることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2026-02-18T02:47:05Z)
• Multi-Preconditioned LBFGS for Training Finite-Basis PINNs [35.66877569643008]
  有限基底物理インフォームドニューラルネットワーク(FBPINN)のトレーニングのためのMP-LBFGSアルゴリズムの導入 鍵となる特徴は、低次元の空間最小化問題の解によって、サブドメイン補正を最適に組み合わせた、新しい非線形マルチプレコンディショニング機構である。 数値実験により、MP-LBFGSはコンバージェンス速度を向上し、標準LBFGSよりもモデル精度を向上し、通信オーバーヘッドを低減できることが示された。
  論文  参考訳（メタデータ） (2026-01-13T16:38:15Z)
• From Sublinear to Linear: Fast Convergence in Deep Networks via Locally Polyak-Lojasiewicz Regions [0.0]
  本稿では、ディープニューラルネットワーク(DNN)の非GD同値損失に関する理論的課題を示す。 準最適ギャップの勾配下界は、適切に有限幅のネットワークが L 内に二乗勾配を持つことを証明している。 我々の研究は、ディープラーニングの効率性の理論的な説明を提供する。
  論文  参考訳（メタデータ） (2025-07-29T01:49:16Z)
• What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness [5.357435119431715]
  この論文は、異種環境における局所SGDの分析のための自己完結型ガイドに寄与する。 この論文はオンライン学習にも拡張され、ファーストオーダーとバンディットの両方のフィードバックの下で基本的な境界を提供する。
  論文  参考訳（メタデータ） (2025-06-30T19:06:02Z)
• Batch Normalization Explained [31.66311831317311]
  バッチ正規化(BN)により、DN学習と推論性能が向上することを示す。 BNは、DNのスプライン分割の幾何学をデータに適合させる教師なし学習技術である。 また,ミニバッチ間のBN統計量の変動は,分割境界にランダムな乱摂動をもたらすことを示した。
  論文  参考訳（メタデータ） (2022-09-29T13:41:27Z)
• PAPooling: Graph-based Position Adaptive Aggregation of Local Geometry in Point Clouds [15.878533142927102]
  PaPoolingは、新しいグラフ表現を用いて局所点間の空間関係を明示的にモデル化する。 位置適応的な方法で特徴を集約し、集約された特徴の位置感応的な表現を可能にする。 計算オーバーヘッドを最小限に抑えながら、予測精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-11-28T07:26:55Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• A Point-Cloud Deep Learning Framework for Prediction of Fluid Flow Fields on Irregular Geometries [62.28265459308354]
  ネットワークは空間位置とCFD量のエンドツーエンドマッピングを学習する。 断面形状の異なるシリンダーを過ぎる非圧縮層状定常流を考察する。 ネットワークは従来のCFDの数百倍の速さで流れ場を予測する。
  論文  参考訳（メタデータ） (2020-10-15T12:15:02Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
  本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。 その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2020-03-18T14:34:08Z)
• A Rotation-Invariant Framework for Deep Point Cloud Analysis [132.91915346157018]
  ネットワーク入力時に一般的な3次元カルト座標を置き換えるために,新しい低レベル純粋回転不変表現を導入する。 また,これらの表現を特徴に組み込むネットワークアーキテクチャを提案し,点とその近傍の局所的関係とグローバルな形状構造を符号化する。 本手法は, 形状分類, 部分分割, 形状検索を含む多点雲解析タスクにおいて評価する。
  論文  参考訳（メタデータ） (2020-03-16T14:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。