論文の概要: Aliasing in Convnets: A Frame-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2507.06152v1
• Date: Tue, 08 Jul 2025 16:34:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:38.346288
• Title: Aliasing in Convnets: A Frame-Theoretic Perspective
• Title（参考訳）: Convnetsにおけるエイリアス:フレーム理論の視点から
• Authors: Daniel Haider, Vincent Lostanlen, Martin Ehler, Nicki Holighaus, Peter Balazs,
• Abstract要約: 畳み込み層のストライドは本質的にエイリアスを導入し、数値安定性と統計的一般化に影響を及ぼす。 我々は1次元カーネルを持つ畳み込み層におけるエイリアスを記述するためにフレーム理論のアプローチを適用し、安定性境界の推定とParseval安定性のキャラクタリゼーションを行う。 ランダムカーネルを持つ層に対しては、エイリアス効果を記述する項の期待値と分散に対する閉形式式を導出する。
• 参考スコア（独自算出の注目度）: 1.7532822531022392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using a stride in a convolutional layer inherently introduces aliasing, which has implications for numerical stability and statistical generalization. While techniques such as the parametrizations via paraunitary systems have been used to promote orthogonal convolution and thus ensure Parseval stability, a general analysis of aliasing and its effects on the stability has not been done in this context. In this article, we adapt a frame-theoretic approach to describe aliasing in convolutional layers with 1D kernels, leading to practical estimates for stability bounds and characterizations of Parseval stability, that are tailored to take short kernel sizes into account. From this, we derive two computationally very efficient optimization objectives that promote Parseval stability via systematically suppressing aliasing. Finally, for layers with random kernels, we derive closed-form expressions for the expected value and variance of the terms that describe the aliasing effects, revealing fundamental insights into the aliasing behavior at initialization.
• Abstract（参考訳）: 畳み込み層におけるストライドの使用は本質的にエイリアスを導入し、数値安定性と統計的一般化に影響を及ぼす。 パラユニット系によるパラメトリゼーションのような手法は直交的畳み込みを促進し、Parsevalの安定性を確保するのに使われてきたが、エイリアシングの一般的な解析とその安定性への影響は、この文脈では行われていない。 本稿では,1次元カーネルを持つ畳み込み層におけるエイリアスを記述するためのフレーム理論のアプローチを適用する。 そこで我々は,Aliasingを体系的に抑制することでParsevalの安定性を促進する2つの最適化目標を導出した。 最後に、ランダムなカーネルを持つレイヤに対して、エイリアス効果を記述した単語の期待値と分散に関するクローズドフォーム表現を導出し、初期化時のエイリアス動作に関する基本的な洞察を明らかにする。

関連論文リスト

• Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares [1.9580473532948397]
  複雑な入力関係を凸成分と凹成分の和としてモデル化する新しい非パラメトリック回帰法を提案する。 The method-ICCNLS-decomposes sub-constrained shape-constrained additive decomposition。
  論文  参考訳（メタデータ） (2025-06-22T15:53:12Z)
• Effective Dimension Aware Fractional-Order Stochastic Gradient Descent for Convex Optimization Problems [2.5971517743176915]
  データ駆動方式で分数指数を適応する2SED分数次勾配Descent (2SEDFOSGD)を提案する。 理論的には、この手法は、na"ive fractional SGD"で観察されるスラグや不安定な振る舞いを伴わない分数記憶の利点を保っている。
  論文  参考訳（メタデータ） (2025-03-17T22:57:37Z)
• (Almost) Smooth Sailing: Towards Numerical Stability of Neural Networks Through Differentiable Regularization of the Condition Number [0.0]
  ほぼどこでも確実に差別化可能な新しい正則化器を導入する。 本手法は, MNIST画像の雑音分類と雑音分解に有用であることを示す。
  論文  参考訳（メタデータ） (2024-09-30T19:18:15Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [1.9950682531209156]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 i) 降下軌道に沿った解の総変動規範は、安定を保ち、望ましくないばらつきを防止し、 (ii) 収率$mathcalO(log(K)/sqrtK)$$$K以上の大域収束保証を確立し、アルゴリズムの効率と有効性を示す; (iii) さらに、分析と確立を行う。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Synthesizing Stable Reduced-Order Visuomotor Policies for Nonlinear Systems via Sums-of-Squares Optimization [28.627377507894003]
  本稿では,非線形システムの制御観測のためのノイズフィードバック,低次出力-制御-パーセプションポリシを提案する。 画像からのこれらのシステムが確実に安定できない場合、我々のアプローチは安定性の保証を提供する。
  論文  参考訳（メタデータ） (2023-04-24T19:34:09Z)
• Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees [57.67528738886731]
  誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。 地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T15:20:17Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
  直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。 本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
  論文  参考訳（メタデータ） (2021-04-14T23:54:55Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。