論文の概要: Normalization Equivariance for Arbitrary Backbones, with Application to Image Denoising

• arxiv url: http://arxiv.org/abs/2605.08193v2
• Date: Wed, 13 May 2026 19:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 18:18:46.726955
• Title: Normalization Equivariance for Arbitrary Backbones, with Application to Image Denoising
• Title（参考訳）: 任意バックボーンの正規化等価性と画像復調への応用
• Abstract要約: 正規化等価性(NE)は、画像から画像へのタスクの分散シフトを改善する構造的先行性である。 既存のNEメソッドはすべての内部層をNE互換の操作に制約する。 Wrapped Normalization Equivariance (WNE)は、入力を正規化し、バックボーンを適用し、出力を非正規化するパラメータフリーラッパーである。
• 参考スコア（独自算出の注目度）: 18.845766135684737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalization Equivariance (NE) is a structural prior that improves robustness to distribution shift in image-to-image tasks. A function $f$ is normalization equivariant iff $f(a y + b\mathbf{1}) = a f(y) + b\mathbf{1}$ for all $a>0$ and $b\in\mathbb{R}$. Existing NE methods constrain every internal layer to NE-compatible operations. These constraints add runtime cost and exclude standard transformer components such as softmax attention and LayerNorm. We introduce Wrapped Normalization Equivariance (WNE), a parameter-free wrapper that normalizes the input, applies any backbone, and denormalizes the output. We prove every NE function admits this factorization, so the wrapper exactly parameterizes the class of NE functions. On blind denoising, wrapping CNN and transformer architectures improves robustness under noise-level mismatch with no measurable GPU overhead, while architectural NE baselines are up to $1.6\times$ slower.
• Abstract（参考訳）: 正規化等価性(NE)は、画像から画像へのタスクの分散シフトに対する堅牢性を改善する構造的先行性である。 関数 $f$ は正規化同変 iff $f(a y + b\mathbf{1}) = a f(y) + b\mathbf{1}$ for all $a>0$ and $b\in\mathbb{R}$ である。 既存のNEメソッドはすべての内部層をNE互換の操作に制約する。 これらの制約はランタイムコストを増大させ、Softmax attentionやLayerNormといった標準トランスフォーマーコンポーネントを除外する。 Wrapped Normalization Equivariance (WNE)は、入力を正規化し、バックボーンを適用し、出力を非正規化するパラメータフリーラッパーである。 すべての NE 関数がこの分解を許容することを証明しているので、ラッパーは NE 関数のクラスを正確にパラメータ化する。 ブラインドデノイングでは、CNNとトランスフォーマーアーキテクチャをラップすることで、計測可能なGPUオーバーヘッドを伴わずにノイズレベルのミスマッチの下で堅牢性が向上する。

関連論文リスト

• Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform [65.89510337046077]
  等変ネットワークは、ウェイトシェアリングを通じて構造的先行として幾何学的対称性を埋め込む。 既存の実装では、構造化された重みを高密度な行列に展開し、それらを一般的な高密度なカーネルにディスパッチする。 これは、同変ネットワークが3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-07-23T12:45:21Z)
• Scale-Invariant Neural Network Optimization: Norm Geometry and Heavy-Tailed Noise [12.977441534320041]
  スペクトルノルムを持つスケール不変の1次法は$(minm, n-frac3p-2p-1)の呼び出しを必要とすることを示す。 我々は、標準がスペクトルであり、ヘシアンがリプシッツであるとき、バッチ法が$(minm, n-frac5p2p-2p-2)$のマッチング境界を達成することを証明した。
  論文  参考訳（メタデータ） (2026-05-18T15:13:18Z)
• Variational Kernel Design for Internal Noise: Gaussian Chaos Noise, Representation Compatibility, and Reliable Deep Learning [0.0]
  ディープネットワークの内部ノイズは通常、ドロップアウト、ハードマスキング、加法摂動などの摂動から受け継がれる。 内部ノイズはどのような相関幾何学を持つべきで、実装された摂動はそれらが作用する表現と互換性があるのか? 本稿では,法則ファミリ,相関カーネル,インジェクション演算子によってノイズ機構が特定され,デシダラタの学習から導出されるフレームワークである変分カーネル設計(VKD)を通じて,これらの疑問に答える。
  論文  参考訳（メタデータ） (2026-03-18T05:12:56Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks [4.322339935902436]
  テンソル化と低ランク表現による圧縮に焦点を当てる。 関数空間の誤差を測定するために、データインフォームドノルムを使用します。 従来の圧縮パイプラインとは異なり、データインフォームドアプローチは微調整なしで競争精度を達成できることが多い。
  論文  参考訳（メタデータ） (2025-11-06T16:15:15Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• CNN Injected Transformer for Image Exposure Correction [20.282217209520006]
  畳み込みに基づく以前の露光補正法は、しばしば画像の露光偏差を生じさせる。 本稿では,CNN と Transformer の個々の強度を同時に活用する CNN インジェクトトランス (CIT) を提案する。 露光補正のためのハイブリッドアーキテクチャ設計に加えて、空間コヒーレンスを改善し、潜在的な色偏差を補正するために、慎重に定式化された損失関数のセットを適用する。
  論文  参考訳（メタデータ） (2023-09-08T14:53:00Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Normalization-Equivariant Neural Networks with Application to Image Denoising [3.591122855617648]
  本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。 私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。 画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-06-08T08:42:08Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $\eta$-divergence [2.3787352248749376]
  他の因子(辞書行列)のノルムは不正な定式化を避けるために制御する必要があることはよく知られている。 標準のプラクティスは、辞書の列に単位ノルムを持つよう制約することであり、これは非自明な最適化問題につながる。 我々は,$ell_1$-regularization あるいはより "攻撃的" なログ規則化に対して,単純な乗法的更新をもたらすブロック・ディフレッシブ・プライマリゼーション・最小化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-07-13T16:09:29Z)
• The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training [10.72393527290646]
  ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。 Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。 後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
  論文  参考訳（メタデータ） (2020-07-25T01:51:13Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• New Bounds For Distributed Mean Estimation and Variance Reduction [25.815612182815702]
  本稿では,ローカルな$d$-dimensional vector $x_v を mathbbRd$ で与えられた$n$マシンが分散平均推定(DME)問題を考える。 提案手法は, 従来の手法と比較して, 応用の実践的改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-21T13:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。