論文の概要: Gradient Residual Connections

• arxiv url: http://arxiv.org/abs/2602.09190v1
• Date: Mon, 09 Feb 2026 20:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.244513
• Title: Gradient Residual Connections
• Title（参考訳）: グラディエント残留接続
• Authors: Yangchen Pan, Qizhen Ying, Philip Torr, Bo Liu,
• Abstract要約: 本研究では,高周波数関数を近似するニューラルネットワークの能力を改善するために,勾配情報を活用する方法について検討する。 本稿では、残差ネットワークで使用される標準IDスキップ接続を補完する勾配ベース残差接続を提案する。
• 参考スコア（独自算出の注目度）: 26.613896878835813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing work has linked properties of a function's gradient to the difficulty of function approximation. Motivated by these insights, we study how gradient information can be leveraged to improve neural network's ability to approximate high-frequency functions, and we propose a gradient-based residual connection as a complement to the standard identity skip connection used in residual networks. We provide simple theoretical intuition for why gradient information can help distinguish inputs and improve the approximation of functions with rapidly varying behaviour. On a synthetic regression task with a high-frequency sinusoidal ground truth, we show that conventional residual connections struggle to capture high-frequency patterns. In contrast, our gradient residual substantially improves approximation quality. We then introduce a convex combination of the standard and gradient residuals, allowing the network to flexibly control how strongly it relies on gradient information. After validating the design choices of our proposed method through an ablation study, we further validate our approach's utility on the single-image super-resolution task, where the underlying function may be high-frequency. Finally, on standard tasks such as image classification and segmentation, our method achieves performance comparable to standard residual networks, suggesting its broad utility.
• Abstract（参考訳）: 既存の作業は関数の勾配と関数近似の難しさの関連性を持っている。 これらの知見により、ニューラルネットワークの高周波数関数近似能力を改善するために勾配情報をどのように活用できるかを考察し、残留ネットワークで使用される標準IDスキップ接続を補完する勾配ベースの残留接続を提案する。 そこで我々は,勾配情報を入力の識別に役立てる理論的な直観と,急速に変化する振る舞いを持つ関数の近似を改善することを提案する。 高周波正弦波基底真理を用いた合成回帰課題において、従来の残差接続は高周波パターンを捉えるのに苦労していることを示す。 対照的に、勾配残留は近似品質を大幅に改善する。 次に、標準残差と勾配残差の凸結合を導入し、勾配情報にどれだけ強く依存するかを柔軟に制御する。 アブレーション法を用いて提案手法の設計選択を検証した後,本手法が高周波数である場合の単一画像超解像課題において,本手法の有効性をさらに検証する。 最後に,画像分類やセグメンテーションなどの標準的なタスクにおいて,従来の残差ネットワークに匹敵する性能を実現し,その汎用性を示唆する。

関連論文リスト

• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks [18.05924632169541]
  サンプリングに基づく高速勾配再スケーリング法(S-FGRM)を提案する。 具体的には、余分な計算コストを伴わずに手話関数を置換するためにデータ再スケーリングを用いる。 本手法は, 勾配に基づく攻撃の伝達可能性を大幅に向上させ, 最先端のベースラインより優れる可能性がある。
  論文  参考訳（メタデータ） (2023-07-06T07:52:42Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks [7.090165638014331]
  一定の層幅とスムーズな活性化関数を持つ深層残留ネットワークのトレーニングにおいて,勾配勾配の線形収束性を大域最小限に証明する。 トレーニングされた重みは、層指数の関数として、ネットワークの深さが無限大になる傾向にあるため、H"古い"スケーリング制限が連続であることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:50:28Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。