Fugu-MT 論文翻訳(概要): Zero-shot generalization across architectures for visual classification

論文の概要: Zero-shot generalization across architectures for visual classification

arxiv url: http://arxiv.org/abs/2402.14095v3
Date: Wed, 1 May 2024 18:56:27 GMT
ステータス: 処理完了
システム内更新日: 2024-05-03 21:41:12.203381
Title: Zero-shot generalization across architectures for visual classification
Title（参考訳）: 視覚分類のためのアーキテクチャ間のゼロショット一般化
Authors: Evan Gerritz, Luciano Dyballa, Steven W. Zucker,
Abstract要約: 未確認データへの一般化はディープネットワークにとって重要なデシダータムであるが、その分類精度との関係は不明確である。我々は、ディープ・コンボリューショナル・ネットワーク(CNN)からトランスフォーマー(transformer)に至るまで、一般的なネットワークが、レイヤやアーキテクチャ全体にわたって、目に見えないクラスに外挿する能力に変化があることを示します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generalization to unseen data is a key desideratum for deep networks, but its relation to classification accuracy is unclear. Using a minimalist vision dataset and a measure of generalizability, we show that popular networks, from deep convolutional networks (CNNs) to transformers, vary in their power to extrapolate to unseen classes both across layers and across architectures. Accuracy is not a good predictor of generalizability, and generalization varies non-monotonically with layer depth.
Abstract（参考訳）: 未確認データへの一般化はディープネットワークにとって重要なデシダータムであるが、その分類精度との関係は不明確である。最小限のビジョンデータセットと一般化可能性の尺度を用いて、ディープ畳み込みネットワーク(CNN)からトランスフォーマー(transformer)までの人気ネットワークが、層とアーキテクチャの両方にわたって、見当たらないクラスに外挿する能力に変化することを示した。精度は一般化可能性の予測には適さないし、一般化は層深度とともに単調に変化する。

関連論文リスト

Generalization emerges from local optimization in a self-organized learning network [0.0]
我々は,グローバルなエラー関数に頼ることなく,局所最適化ルールのみによって駆動される,教師付き学習ネットワーク構築のための新しいパラダイムを設計・分析する。我々のネットワークは、ルックアップテーブルの形で、ノードに新しい知識を正確かつ瞬時に保存する。本稿では,学習例数が十分に大きくなると,アルゴリズムによって生成されたネットワークが完全な一般化状態に体系的に到達する,分類タスクの多くの例を示す。我々は状態変化のダイナミクスについて報告し、それが突然であり、従来の学習ネットワークですでに観察されている現象である1次相転移の特徴を持つことを示す。
論文参考訳（メタデータ） (2024-10-03T15:32:08Z)
A separability-based approach to quantifying generalization: which layer is best? [0.0]
未確認データへの一般化は、ディープラーニングの分類と基礎モデルではよく理解されていない。サンプル領域を表すネットワークのキャパシティを評価するための新しい手法を提案する。 i) 高い分類精度は高い一般化可能性を示すものではなく、(ii) モデルの深い層が必ずしも最良を一般化するとは限らない。
論文参考訳（メタデータ） (2024-05-02T17:54:35Z)
Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文参考訳（メタデータ） (2024-02-27T11:52:49Z)
Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
論文参考訳（メタデータ） (2023-12-25T11:53:06Z)
Contrasting random and learned features in deep Bayesian linear regression [12.234742322758418]
本研究では,学習能力が単純なモデルの一般化性能に与える影響について検討する。すべての層が訓練されたディープネットワークと比較することにより、幅、深さ、データ密度、事前のミスマッチの相互作用を詳細に解析する。
論文参考訳（メタデータ） (2022-03-01T15:51:29Z)
Augmenting Convolutional networks with attention-based aggregation [55.97184767391253]
我々は,非局所的推論を実現するために,注目に基づくグローバルマップを用いた畳み込みネットワークの強化方法を示す。この学習集約層を2つのパラメータ(幅と深さ)でパラメータ化した単純パッチベースの畳み込みネットワークで接続する。これは、特にメモリ消費の点で、精度と複雑さの間の驚くほど競争力のあるトレードオフをもたらす。
論文参考訳（メタデータ） (2021-12-27T14:05:41Z)
Impact of Aliasing on Generalization in Deep Convolutional Networks [29.41652467340308]
深層畳み込みネットワークの一般化におけるエイリアスの影響について検討する。キー位置で非トレーニング可能な低域通過フィルタを挿入することでエイリアスを緩和する方法を示す。
論文参考訳（メタデータ） (2021-08-07T17:12:03Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
論文参考訳（メタデータ） (2021-05-21T16:29:57Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)
The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文参考訳（メタデータ） (2020-06-29T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。