論文の概要: Learning the Space of Deep Models

• arxiv url: http://arxiv.org/abs/2206.05194v1
• Date: Fri, 10 Jun 2022 15:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:26:15.729678
• Title: Learning the Space of Deep Models
• Title（参考訳）: 深層モデルの空間を学ぶ
• Authors: Gianluca Berardi, Luca De Luigi, Samuele Salti, Luigi Di Stefano
• Abstract要約: 訓練された深層モデルの固定サイズ低次元埋め込み空間を,表現学習を用いて学習する方法を示す。 信号のイメージ分類とニューラル表現に対処し、我々の埋め込み空間をどのように学習し、性能と3次元形状の概念を捉えるかを示す。
• 参考スコア（独自算出の注目度）: 12.785442275745973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding of large but redundant data, such as images or text, in a hierarchy of lower-dimensional spaces is one of the key features of representation learning approaches, which nowadays provide state-of-the-art solutions to problems once believed hard or impossible to solve. In this work, in a plot twist with a strong meta aftertaste, we show how trained deep models are as redundant as the data they are optimized to process, and how it is therefore possible to use deep learning models to embed deep learning models. In particular, we show that it is possible to use representation learning to learn a fixed-size, low-dimensional embedding space of trained deep models and that such space can be explored by interpolation or optimization to attain ready-to-use models. We find that it is possible to learn an embedding space of multiple instances of the same architecture and of multiple architectures. We address image classification and neural representation of signals, showing how our embedding space can be learnt so as to capture the notions of performance and 3D shape, respectively. In the Multi-Architecture setting we also show how an embedding trained only on a subset of architectures can learn to generate already-trained instances of architectures it never sees instantiated at training time.
• Abstract（参考訳）: 画像やテキストといった大規模で冗長なデータを低次元空間の階層に埋め込むことは、表現学習アプローチの重要な特徴の1つであり、かつては解決が困難あるいは不可能と考えられていた問題に対して最先端のソリューションを提供する。 この研究では、強力なメタ後味のあるプロットのツイストにおいて、訓練された深層モデルが処理に最適化されたデータと同じくらい冗長であること、そして、深層学習モデルを使用して深層学習モデルを組み込む方法を示す。 特に、表現学習を用いて訓練された深層モデルの固定サイズの低次元埋め込み空間を学習することができ、そのような空間を補間や最適化によって探索して使用可能なモデルが得られることを示す。 同一アーキテクチャの複数のインスタンスと複数のアーキテクチャの埋め込み空間を学習できることが分かっています。 我々は,信号のイメージ分類とニューラル表現に対処し,その埋め込み空間を,それぞれの性能と3次元形状の概念を捉えるために学習する方法を示す。 マルチアーキテクチャの設定では、アーキテクチャのサブセットのみにトレーニングされた組込みが、トレーニング時にインスタンス化されない、すでにトレーニング済みのアーキテクチャのインスタンスを生成する方法も示しています。

関連論文リスト

• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• Multi-domain learning CNN model for microscopy image classification [3.2835754110596236]
  顕微鏡画像の分類のためのマルチドメイン学習アーキテクチャを提案する。 計算集約的な従来の方法とは異なり、Mobincepと呼ばれるコンパクトモデルを開発した。 最先端の結果を超え、ラベル付きデータに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-20T19:32:23Z)
• ROAD: Learning an Implicit Recursive Octree Auto-Decoder to Efficiently Encode 3D Shapes [32.267066838654834]
  複雑な3次元形状の大規模データセットを効率よく正確に符号化する新しい暗黙表現を提案する。 暗黙的再帰的Octree Auto-Decoder (ROAD) は階層的に構造化された潜在空間を学習し、圧縮比99%以上で最先端の復元結果を実現する。
  論文  参考訳（メタデータ） (2022-12-12T19:09:47Z)
• Contrastive Neighborhood Alignment [81.65103777329874]
  本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。 対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
  論文  参考訳（メタデータ） (2022-01-06T04:58:31Z)
• LOLNeRF: Learn from One Look [22.771493686755544]
  本稿では,ニューラルレイディアンス場に基づく生成3次元モデル学習手法を提案する。 既存の手法とは異なり、この目標を達成するためにマルチビューデータを必要としないことを示す。
  論文  参考訳（メタデータ） (2021-11-19T01:20:01Z)
• A Design Space Study for LISTA and Beyond [79.76740811464597]
  近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
  論文  参考訳（メタデータ） (2021-04-08T23:01:52Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Mutual Information Maximization for Robust Plannable Representations [82.83676853746742]
  モデルに基づく強化学習のための情報理論表現学習アルゴリズムMIROを提案する。 提案手法は, 邪魔や散らかったシーンの存在下で, 再建目的よりも頑健であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T21:58:47Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。