論文の概要: Towards Learning Convolutions from Scratch

• arxiv url: http://arxiv.org/abs/2007.13657v1
• Date: Mon, 27 Jul 2020 16:13:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 07:34:45.798132
• Title: Towards Learning Convolutions from Scratch
• Title（参考訳）: スクラッチから進化を学ぶために
• Authors: Behnam Neyshabur
• Abstract要約: 畳み込みはコンピュータビジョンで使用されるアーキテクチャの最も重要な構成要素の1つである。 現在の最先端アーキテクチャ検索アルゴリズムでは、データから学習するのではなく、畳み込みを既存のモジュールの1つとして使用しています。 ローカル接続でアーキテクチャを学習するLASSOアルゴリズムの簡単な変種である$beta$-LASSOを提案する。
• 参考スコア（独自算出の注目度）: 34.71001535076825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolution is one of the most essential components of architectures used in computer vision. As machine learning moves towards reducing the expert bias and learning it from data, a natural next step seems to be learning convolution-like structures from scratch. This, however, has proven elusive. For example, current state-of-the-art architecture search algorithms use convolution as one of the existing modules rather than learning it from data. In an attempt to understand the inductive bias that gives rise to convolutions, we investigate minimum description length as a guiding principle and show that in some settings, it can indeed be indicative of the performance of architectures. To find architectures with small description length, we propose $\beta$-LASSO, a simple variant of LASSO algorithm that, when applied on fully-connected networks for image classification tasks, learns architectures with local connections and achieves state-of-the-art accuracies for training fully-connected nets on CIFAR-10 (85.19%), CIFAR-100 (59.56%) and SVHN (94.07%) bridging the gap between fully-connected and convolutional nets.
• Abstract（参考訳）: 畳み込みはコンピュータビジョンで使用されるアーキテクチャの最も重要な構成要素の1つである。 機械学習がエキスパートのバイアスを減らし、データから学習しようとすると、自然な次のステップは畳み込みのような構造をスクラッチから学習することだ。 しかし、これは解明された。 例えば、現在の最先端アーキテクチャ検索アルゴリズムでは、データから学ぶのではなく、既存のモジュールの1つとして畳み込みを使用する。 畳み込みを引き起こす帰納的バイアスを理解するために,最小記述長を導出原理として検討し,いくつかの設定において,アーキテクチャのパフォーマンスを示すことができることを示す。 簡単なlassoアルゴリズムの変種である$\beta$-lassoを提案する。画像分類タスクに完全接続ネットワークを適用すると、ローカル接続を持つアーキテクチャを学習し、cifar-10 (85.19%)、cifar-100 (59.56%)、svhn (94.07%) で完全接続ネットと畳み込みネットのギャップを埋めるための最先端のアキュラティを達成する。

関連論文リスト

• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• DAFormer: Improving Network Architectures and Training Strategies for Domain-Adaptive Semantic Segmentation [99.88539409432916]
  教師なしドメイン適応(UDA)プロセスについて検討する。 ベンチマーク結果に基づいて,新しい UDA 手法である DAFormer を提案する。 DAFormerは,GTA->Cityscapesの10.8 mIoU,Synthia->Cityscapesの5.4 mIoUにより,最先端の性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-29T19:00:46Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
  局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。 パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。 適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
  論文  参考訳（メタデータ） (2020-03-03T15:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。