論文の概要: Effects of Architectures on Continual Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2302.10718v1
• Date: Tue, 21 Feb 2023 15:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 14:43:33.962565
• Title: Effects of Architectures on Continual Semantic Segmentation
• Title（参考訳）: 連続的なセマンティックセグメンテーションに及ぼす建築の影響
• Authors: Tobias Kalb, Niket Ahuja, Jingxing Zhou, J\"urgen Beyerer
• Abstract要約: 本稿では,ニューラルネットワークアーキテクチャの選択が,クラス・ドメイン・インクリメンタルセマンティックセグメンテーションにおける破滅的忘れにどのように影響するかを検討する。 ResNetのような従来のCNNの可塑性は高いが安定性は低いが、トランスフォーマーアーキテクチャはずっと安定している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research in the field of Continual Semantic Segmentation is mainly investigating novel learning algorithms to overcome catastrophic forgetting of neural networks. Most recent publications have focused on improving learning algorithms without distinguishing effects caused by the choice of neural architecture.Therefore, we study how the choice of neural network architecture affects catastrophic forgetting in class- and domain-incremental semantic segmentation. Specifically, we compare the well-researched CNNs to recently proposed Transformers and Hybrid architectures, as well as the impact of the choice of novel normalization layers and different decoder heads. We find that traditional CNNs like ResNet have high plasticity but low stability, while transformer architectures are much more stable. When the inductive biases of CNN architectures are combined with transformers in hybrid architectures, it leads to higher plasticity and stability. The stability of these models can be explained by their ability to learn general features that are robust against distribution shifts. Experiments with different normalization layers show that Continual Normalization achieves the best trade-off in terms of adaptability and stability of the model. In the class-incremental setting, the choice of the normalization layer has much less impact. Our experiments suggest that the right choice of architecture can significantly reduce forgetting even with naive fine-tuning and confirm that for real-world applications, the architecture is an important factor in designing a continual learning model.
• Abstract（参考訳）: 連続セマンティックセグメンテーションの分野での研究は、ニューラルネットワークの破滅的な忘れを克服する新しい学習アルゴリズムを主に研究している。 近年の論文では,ニューラルネットワークアーキテクチャの選択による影響を区別することなく,学習アルゴリズムの改善に重点を置いている。 具体的には,最近提案されたトランスフォーマーやハイブリッドアーキテクチャと比較し,新しい正規化層と異なるデコーダヘッドの選択の影響について検討した。 ResNetのような従来のCNNの可塑性は高いが安定性は低いが、トランスフォーマーアーキテクチャはずっと安定している。 CNNアーキテクチャの帰納バイアスがハイブリッドアーキテクチャのトランスフォーマーと組み合わせられると、可塑性と安定性が向上する。 これらのモデルの安定性は、分布シフトに対して堅牢な一般的な特徴を学ぶ能力によって説明できる。 異なる正規化層を持つ実験は、モデルの適応性と安定性の観点から、連続正規化が最良のトレードオフを達成することを示している。 クラスインクリメンタルな設定では、正規化層の選択は影響をはるかに少なくする。 我々の実験は、アーキテクチャの正しい選択は、微調整を素直に行えば忘れを著しく減らし、現実世界のアプリケーションにとって、アーキテクチャが継続的な学習モデルを設計する上で重要な要素であることを確認することを示唆している。

関連論文リスト

• What Does It Mean to Be a Transformer? Insights from a Theoretical Hessian Analysis [8.008567379796666]
  Transformerアーキテクチャは、間違いなくディープラーニングに革命をもたらした。 中心となる注意ブロックは、ディープラーニングにおける他のほとんどのアーキテクチャコンポーネントと形式と機能の違いです。 これらの外向きの表現の背後にある根本原因と、それらを管理する正確なメカニズムは、まだ理解されていないままである。
  論文  参考訳（メタデータ） (2024-10-14T18:15:02Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Adaptive Signal Variances: CNN Initialization Through Modern Architectures [0.7646713951724012]
  深層畳み込みニューラルネットワーク(CNN)は、画像処理タスクにおけるそのパフォーマンスに対する不安定な信頼を達成している。 CNN実践者は、学習の安定性が各層でモデルパラメータを初期化する方法に依存するという事実を広く理解している。
  論文  参考訳（メタデータ） (2020-08-16T11:26:29Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Inferring Convolutional Neural Networks' accuracies from their architectural characterizations [0.0]
  CNNのアーキテクチャと性能の関係について検討する。 本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
  論文  参考訳（メタデータ） (2020-01-07T16:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。