論文の概要: Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach

• arxiv url: http://arxiv.org/abs/2604.09716v1
• Date: Wed, 08 Apr 2026 12:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.625177
• Title: Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach
• Title（参考訳）: ダイナミックシステムアプローチによる損失と正確性を超えた深層視覚ネットワークのトレーニング
• Abstract要約: 本稿では,力学系のレンズを用いてトレーニングを行うことにより,その過程を補完的に研究する手法を提案する。 トレーニングエポック間で収集されたレイヤアクティベーションから,3つの尺度を定義する。 このフレームワークをモデルアーキテクチャとデータセットの9つの組み合わせに適用する。
• 参考スコア（独自算出の注目度）: 0.6229352230128421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep visual recognition models are usually trained and evaluated using metrics such as loss and accuracy. While these measures show whether a model is improving, they reveal very little about how its internal representations change during training. This paper introduces a complementary way to study that process by examining training through the lens of dynamical systems. Drawing on ideas from signal analysis originally used to study biological neural activity, we define three measures from layer activations collected across training epochs: an integration score that reflects long-range coordination across layers, a metastability score that captures how flexibly the network shifts between more and less synchronised states, and a combined dynamical stability index. We apply this framework to nine combinations of model architecture and dataset, including several ResNet variants, DenseNet-121, MobileNetV2, VGG-16, and a pretrained Vision Transformer on CIFAR-10 and CIFAR-100. The results suggest three main patterns. First, the integration measure consistently distinguishes the easier CIFAR-10 setting from the more difficult CIFAR-100 setting. Second, changes in the volatility of the stability index may provide an early sign of convergence before accuracy fully plateaus. Third, the relationship between integration and metastability appears to reflect different styles of training behaviour. Overall, this study offers an exploratory but promising new way to understand deep visual training beyond loss and accuracy.
• Abstract（参考訳）: ディープ・ヴィジュアライゼーション・モデルは通常、損失や精度などの指標を用いて訓練され、評価される。 これらの尺度は、モデルが改善されているかどうかを示しているが、トレーニング中に内部表現がどのように変化するかについてはほとんど明らかにしていない。 本稿では,力学系のレンズを用いてトレーニングを行うことにより,その過程を補完的に研究する手法を提案する。 生体神経活動の研究に使用された信号分析のアイデアに基づいて、我々は、トレーニングエポック間で収集されたレイヤアクティベーションから、層間の長距離調整を反映する統合スコア、ネットワークがより多くの同期状態間でどのように柔軟にシフトするかを捉えたメタスタビリティスコア、そして、組み合わせた動的安定性指数の3つの尺度を定義した。 このフレームワークは、DenseNet-121、MobileNetV2、VGG-16、CIFAR-10およびCIFAR-100上の事前訓練されたビジョン変換器など、モデルアーキテクチャとデータセットの9つの組み合わせに適用する。 結果は3つの主要なパターンを示唆している。 第1に、CIFAR-10設定がより難しいCIFAR-100設定と一貫して区別される。 第二に、安定性指数のボラティリティの変化は、完全なプラトースの前に収束の早期兆候を与える可能性がある。 第三に、統合性とメタスタビリティの関係は、トレーニング行動の異なるスタイルを反映しているように見える。 全体として、この研究は、損失と正確性を超えた深い視覚トレーニングを理解するための、探索的だが有望な新しい方法を提供する。

関連論文リスト

• Boosting Robust AIGI Detection with LoRA-based Pairwise Training [55.076681464804636]
  現在のAIGI検出器はクリーンなデータセットで良好に動作しますが、その検出性能は"野生"に展開すると低下します。 本稿では,高度歪み下でのAIGIの堅牢な検出を実現するために,Lo-based Pairwise Training (RA) 戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:35:32Z)
• GradAttn: Replacing Fixed Residual Connections with Task-Modulated Attention Pathways [2.105564340986074]
  GradAttnは、固定残差接続を注意制御の勾配流に置き換えるCNN変換フレームワークである。 表現分析では,8つの多様なデータセットにまたがる3つのGradAttn変種を評価した。 結果は、GradAttnが8つのデータセットのうち5つでResNet-18を上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-23T14:45:07Z)
• Implicit Neural Representation-Based Continuous Single Image Super Resolution: An Empirical Study [50.15623093332659]
  入射神経表現(INR)は任意のスケール画像超解像(ASSR)の標準的アプローチとなっている 既存の手法を多様な設定で比較し、複数の画像品質指標に対して集計結果を示す。 トレーニング中, エッジ, テクスチャ, 細部を保存しながら, 強度変化をペナライズする新たな損失関数について検討した。
  論文  参考訳（メタデータ） (2026-01-25T07:09:20Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Dynamic Adaptive Parsing of Temporal and Cross-Variable Patterns for Network State Classification [9.007194066331452]
  DAPNetはMixture-of-Expertsアーキテクチャに基づくフレームワークである。 DAPNetは、周期解析、動的相互変数相関モデリング、ハイブリッド時間特徴抽出の3つの専門ネットワークを統合している。 アーキテクチャ設計の一般化性は、10のパブリックなUEAベンチマークデータセットで評価される。
  論文  参考訳（メタデータ） (2025-09-15T05:32:32Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。