論文の概要: Intriguing Properties of Dynamic Sampling Networks

• arxiv url: http://arxiv.org/abs/2511.20800v1
• Date: Tue, 25 Nov 2025 19:40:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.832057
• Title: Intriguing Properties of Dynamic Sampling Networks
• Title（参考訳）: 動的サンプリングネットワークの興味深い特性
• Authors: Dario Morle, Reid Zaffino,
• Abstract要約: 我々は「ウォーピング」と呼ぶ既存手法を一般化した新しい演算子の開発と解析を行う。 ウォープは動的サンプリングの最小限の実装を提供する。 これらのメカニズムは、畳み込みによって定義される伝統的な変換不変作用素とは全く異なる種類の作用素を表すことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic sampling mechanisms in deep learning architectures have demonstrated utility across many computer vision models, though the theoretical analysis of these structures has not yet been unified. In this paper we connect the various dynamic sampling methods by developing and analyzing a novel operator which generalizes existing methods, which we term "warping". Warping provides a minimal implementation of dynamic sampling which is amenable to analysis, and can be used to reconstruct existing architectures including deformable convolutions, active convolutional units, and spatial transformer networks. Using our formalism, we provide statistical analysis of the operator by modeling the inputs as both IID variables and homogeneous random fields. Extending this analysis, we discover a unique asymmetry between the forward and backward pass of the model training. We demonstrate that these mechanisms represent an entirely different class of orthogonal operators to the traditional translationally invariant operators defined by convolutions. With a combination of theoretical analysis and empirical investigation, we find the conditions necessary to ensure stable training of dynamic sampling networks. In addition, statistical analysis of discretization effects are studied. Finally, we introduce a novel loss landscape visualization which utilizes gradient update information directly, to better understand learning behavior.
• Abstract（参考訳）: ディープラーニングアーキテクチャにおける動的サンプリング機構は、多くのコンピュータビジョンモデルで有効性を示しているが、これらの構造の理論解析はまだ統一されていない。 本稿では,従来の手法を一般化した新しい演算子を開発し,解析することにより,様々な動的サンプリング手法を結合する。 ウォーピングは動的サンプリングの最小限の実装を提供し、解析に適しており、変形可能な畳み込み、アクティブな畳み込みユニット、空間トランスフォーマーネットワークを含む既存のアーキテクチャの再構築に使用できる。 定式化を用いて、入出力をIID変数と等質確率場の両方としてモデル化することにより、演算子の統計的解析を行う。 この分析を拡張して、モデルトレーニングの前方パスと後方パスの間にユニークな非対称性を見出す。 これらのメカニズムは、畳み込みによって定義される伝統的な変換不変作用素とは全く異なる直交作用素のクラスを表すことを実証する。 理論的解析と経験的調査を組み合わせることで,動的サンプリングネットワークの安定したトレーニングを実現するために必要な条件を見出した。 さらに, 離散化効果の統計的解析を行った。 最後に,勾配更新情報を直接利用し,学習行動の理解を深める新たな損失景観可視化手法を提案する。

関連論文リスト

• Navigating the Latent Space Dynamics of Neural Models [45.503229142378814]
  我々は、潜在多様体に作用する力学系として、ニューラルモデルの別の解釈を示す。 オートエンコーダモデルは、符号化復号写像を反復的に適用することによって導かれる、多様体上の潜在ベクトル場を暗黙的に定義することを示す。 本稿では,ベクトル場をネットワークの表現として活用し,モデルとデータの特性を解析するための新しいツールを提案する。
  論文  参考訳（メタデータ） (2025-05-28T18:57:41Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
  プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。 我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
  論文  参考訳（メタデータ） (2023-07-21T14:25:06Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• The Role of Isomorphism Classes in Multi-Relational Datasets [6.419762264544509]
  アイソモーフィックリークは,マルチリレーショナル推論の性能を過大評価することを示す。 モデル評価のためのアイソモーフィック・アウェア・シンセサイティング・ベンチマークを提案する。 また、同型類は単純な優先順位付けスキームによって利用することができることを示した。
  論文  参考訳（メタデータ） (2020-09-30T12:15:24Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。