論文の概要: Deep Delta Learning

• arxiv url: http://arxiv.org/abs/2601.00417v1
• Date: Thu, 01 Jan 2026 18:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.433805
• Title: Deep Delta Learning
• Title（参考訳）: 深層デルタ学習
• Authors: Yifan Zhang, Yifeng Liu, Mengdi Wang, Quanquan Gu,
• Abstract要約: 本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
• 参考スコア（独自算出の注目度）: 91.75868893250662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The efficacy of deep residual networks is fundamentally predicated on the identity shortcut connection. While this mechanism effectively mitigates the vanishing gradient problem, it imposes a strictly additive inductive bias on feature transformations, thereby limiting the network's capacity to model complex state transitions. In this paper, we introduce Deep Delta Learning (DDL), a novel architecture that generalizes the standard residual connection by modulating the identity shortcut with a learnable, data-dependent geometric transformation. This transformation, termed the Delta Operator, constitutes a rank-1 perturbation of the identity matrix, parameterized by a reflection direction vector $\mathbf{k}(\mathbf{X})$ and a gating scalar $β(\mathbf{X})$. We provide a spectral analysis of this operator, demonstrating that the gate $β(\mathbf{X})$ enables dynamic interpolation between identity mapping, orthogonal projection, and geometric reflection. Furthermore, we restructure the residual update as a synchronous rank-1 injection, where the gate acts as a dynamic step size governing both the erasure of old information and the writing of new features. This unification empowers the network to explicitly control the spectrum of its layer-wise transition operator, enabling the modeling of complex, non-monotonic dynamics while preserving the stable training characteristics of gated residual architectures.
• Abstract（参考訳）: ディープ残差ネットワークの有効性は、アイデンティティショートカット接続を基本的に予測する。 このメカニズムは、消滅する勾配問題を効果的に緩和するが、特徴変換に厳密に付加的な帰納バイアスを課し、複雑な状態遷移をモデル化するネットワークの能力を制限する。 本稿では、IDショートカットを学習可能なデータ依存幾何変換で変調することにより、標準残差接続を一般化する新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 この変換はデルタ作用素と呼ばれ、等式行列のランク1摂動を構成し、反射方向ベクトル $\mathbf{k}(\mathbf{X})$ と Gating scalar $β(\mathbf{X})$ でパラメータ化される。 我々はこの作用素のスペクトル解析を行い、ゲート$β(\mathbf{X})$が恒等写像、直交射影、幾何反射の間の動的補間を可能にすることを示した。 さらに,残余更新を同期ランク1インジェクションとして再構成し,古い情報の消去と新機能の書き込みの両方を管理する動的ステップサイズとして機能する。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、ゲート残留アーキテクチャの安定したトレーニング特性を維持しながら、複雑な非単調力学のモデリングを可能にする。

関連論文リスト

• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• EqNIO: Subequivariant Neural Inertial Odometry [33.96552018734359]
  重力ベクトルの周りで回転すると、IMUデータは等変的に変形し、重力に平行な任意の平面に対して反射することを示す。 そして、IMUデータをこのフレームにマッピングし、既製の慣性オドメトリーネットワークで直接使用できる不変な正準化を実現する。
  論文  参考訳（メタデータ） (2024-08-12T17:42:46Z)
• Machine Learning for the identification of phase-transitions in interacting agent-based systems: a Desai-Zwanzig example [0.0]
  本稿では,エージェントモデルに対する位相遷移を平均フィールド限界でピンポイントするデータ駆動フレームワークを提案する。 この目的のために、多様体学習アルゴリズムであるマップを用いて、データ駆動潜在変数の相似集合を同定する。 次に、深層学習フレームワークを用いて、データ駆動座標の共形再パラメータ化を求める。
  論文  参考訳（メタデータ） (2023-10-29T15:07:08Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。