論文の概要: Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach

• arxiv url: http://arxiv.org/abs/2604.09716v1
• Date: Wed, 08 Apr 2026 12:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.625177
• Title: Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach
• Title（参考訳）: ダイナミックシステムアプローチによる損失と正確性を超えた深層視覚ネットワークのトレーニング
• Authors: Hai La Quang, Hassan Ugail, Newton Howard, Cong Tran Tien, Nam Vu Hoai, Hung Nguyen Viet,
• Abstract要約: 本稿では,力学系のレンズを用いてトレーニングを行うことにより,その過程を補完的に研究する手法を提案する。 トレーニングエポック間で収集されたレイヤアクティベーションから,3つの尺度を定義する。 このフレームワークをモデルアーキテクチャとデータセットの9つの組み合わせに適用する。
• 参考スコア（独自算出の注目度）: 0.6229352230128421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep visual recognition models are usually trained and evaluated using metrics such as loss and accuracy. While these measures show whether a model is improving, they reveal very little about how its internal representations change during training. This paper introduces a complementary way to study that process by examining training through the lens of dynamical systems. Drawing on ideas from signal analysis originally used to study biological neural activity, we define three measures from layer activations collected across training epochs: an integration score that reflects long-range coordination across layers, a metastability score that captures how flexibly the network shifts between more and less synchronised states, and a combined dynamical stability index. We apply this framework to nine combinations of model architecture and dataset, including several ResNet variants, DenseNet-121, MobileNetV2, VGG-16, and a pretrained Vision Transformer on CIFAR-10 and CIFAR-100. The results suggest three main patterns. First, the integration measure consistently distinguishes the easier CIFAR-10 setting from the more difficult CIFAR-100 setting. Second, changes in the volatility of the stability index may provide an early sign of convergence before accuracy fully plateaus. Third, the relationship between integration and metastability appears to reflect different styles of training behaviour. Overall, this study offers an exploratory but promising new way to understand deep visual training beyond loss and accuracy.
• Abstract（参考訳）: ディープ・ヴィジュアライゼーション・モデルは通常、損失や精度などの指標を用いて訓練され、評価される。 これらの尺度は、モデルが改善されているかどうかを示しているが、トレーニング中に内部表現がどのように変化するかについてはほとんど明らかにしていない。 本稿では,力学系のレンズを用いてトレーニングを行うことにより,その過程を補完的に研究する手法を提案する。 生体神経活動の研究に使用された信号分析のアイデアに基づいて、我々は、トレーニングエポック間で収集されたレイヤアクティベーションから、層間の長距離調整を反映する統合スコア、ネットワークがより多くの同期状態間でどのように柔軟にシフトするかを捉えたメタスタビリティスコア、そして、組み合わせた動的安定性指数の3つの尺度を定義した。 このフレームワークは、DenseNet-121、MobileNetV2、VGG-16、CIFAR-10およびCIFAR-100上の事前訓練されたビジョン変換器など、モデルアーキテクチャとデータセットの9つの組み合わせに適用する。 結果は3つの主要なパターンを示唆している。 第1に、CIFAR-10設定がより難しいCIFAR-100設定と一貫して区別される。 第二に、安定性指数のボラティリティの変化は、完全なプラトースの前に収束の早期兆候を与える可能性がある。 第三に、統合性とメタスタビリティの関係は、トレーニング行動の異なるスタイルを反映しているように見える。 全体として、この研究は、損失と正確性を超えた深い視覚トレーニングを理解するための、探索的だが有望な新しい方法を提供する。

関連論文リスト

• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Analyzing and Improving the Training Dynamics of Diffusion Models [36.37845647984578]
  一般的なADM拡散モデルアーキテクチャにおいて、不均一かつ非効率なトレーニングの原因をいくつか特定し、修正する。 この哲学の体系的な応用は、観測されたドリフトと不均衡を排除し、同じ計算複雑性でネットワークをかなり良くする。
  論文  参考訳（メタデータ） (2023-12-05T11:55:47Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。