論文の概要: Dataless Model Selection with the Deep Frame Potential

• arxiv url: http://arxiv.org/abs/2003.13866v1
• Date: Mon, 30 Mar 2020 23:27:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:22:06.961022
• Title: Dataless Model Selection with the Deep Frame Potential
• Title（参考訳）: 深部フレームポテンシャルを持つデータレスモデル選択
• Authors: Calvin Murdock, Simon Lucey
• Abstract要約: ネットワークをその固有の能力で定量化し、ユニークでロバストな表現を行う。 本稿では,表現安定性にほぼ関係するが,ネットワーク構造にのみ依存する最小限のコヒーレンス尺度であるディープフレームポテンシャルを提案する。 モデル選択の基準としての利用を検証するとともに,ネットワークアーキテクチャの多種多様な残差および密結合化について,一般化誤差との相関性を示す。
• 参考スコア（独自算出の注目度）: 45.16941644841897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing a deep neural network architecture is a fundamental problem in applications that require balancing performance and parameter efficiency. Standard approaches rely on ad-hoc engineering or computationally expensive validation on a specific dataset. We instead attempt to quantify networks by their intrinsic capacity for unique and robust representations, enabling efficient architecture comparisons without requiring any data. Building upon theoretical connections between deep learning and sparse approximation, we propose the deep frame potential: a measure of coherence that is approximately related to representation stability but has minimizers that depend only on network structure. This provides a framework for jointly quantifying the contributions of architectural hyper-parameters such as depth, width, and skip connections. We validate its use as a criterion for model selection and demonstrate correlation with generalization error on a variety of common residual and densely connected network architectures.
• Abstract（参考訳）: 深いニューラルネットワークアーキテクチャを選択することは、パフォーマンスとパラメータ効率のバランスを必要とするアプリケーションの基本的な問題である。 標準的なアプローチは、特定のデータセットに対するアドホックエンジニアリングや計算コストの検証に依存する。 代わりに、ユニークでロバストな表現に固有の能力でネットワークを定量化し、データを必要としない効率的なアーキテクチャ比較を可能にします。 ディープ・ラーニングとスパース近似の理論的関係に基づいて,ネットワーク構造のみに依存する最小値を持つ表現安定性にほぼ関連するコヒーレンス尺度であるディープ・フレームポテンシャルを提案する。 これは、深さ、幅、スキップ接続などのアーキテクチャハイパーパラメータの貢献を共同で定量化するフレームワークを提供する。 モデル選択の基準としての利用を検証し,多種多様なネットワークアーキテクチャにおける一般化誤差との相関性を示す。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Partially Stochastic Infinitely Deep Bayesian Neural Networks [0.0]
  無限深層ニューラルネットワークの枠組みに部分性を統合する新しいアーキテクチャ群を提案する。 完全性の利点を含む無限深度極限における部分性の利点を利用する。 ネットワーク設計における柔軟性を提供する、さまざまなアーキテクチャ構成を提示します。
  論文  参考訳（メタデータ） (2024-02-05T20:15:19Z)
• Hysteretic Behavior Simulation Based on Pyramid Neural Network:Principle, Network Architecture, Case Study and Explanation [0.0]
  ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。 単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。 ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-29T16:42:00Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• Adversarially Robust Neural Architectures [43.74185132684662]
  本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。 本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。 提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
  論文  参考訳（メタデータ） (2020-09-02T08:52:15Z)
• Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
  我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。 本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
  論文  参考訳（メタデータ） (2020-08-24T09:49:19Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。