論文の概要: Rosetta Neurons: Mining the Common Units in a Model Zoo
- arxiv url: http://arxiv.org/abs/2306.09346v2
- Date: Fri, 16 Jun 2023 04:36:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 10:42:11.376450
- Title: Rosetta Neurons: Mining the Common Units in a Model Zoo
- Title(参考訳): ロゼッタニューロン:模型動物園における共通単位のマイニング
- Authors: Amil Dravid, Yossi Gandelsman, Alexei A. Efros, Assaf Shocher
- Abstract要約: 我々は、様々なモデルにまたがって「ロセッタニューロン」と呼ばれる共通機能の存在を実証する。
本稿では,ロゼッタニューロンの辞書を複数の一般的な視覚モデルでマイニングするアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 33.514508896870346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do different neural networks, trained for various vision tasks, share some
common representations? In this paper, we demonstrate the existence of common
features we call "Rosetta Neurons" across a range of models with different
architectures, different tasks (generative and discriminative), and different
types of supervision (class-supervised, text-supervised, self-supervised). We
present an algorithm for mining a dictionary of Rosetta Neurons across several
popular vision models: Class Supervised-ResNet50, DINO-ResNet50, DINO-ViT, MAE,
CLIP-ResNet50, BigGAN, StyleGAN-2, StyleGAN-XL. Our findings suggest that
certain visual concepts and structures are inherently embedded in the natural
world and can be learned by different models regardless of the specific task or
architecture, and without the use of semantic labels. We can visualize shared
concepts directly due to generative models included in our analysis. The
Rosetta Neurons facilitate model-to-model translation enabling various
inversion-based manipulations, including cross-class alignments, shifting,
zooming, and more, without the need for specialized training.
- Abstract(参考訳): さまざまなビジョンタスクのためにトレーニングされた異なるニューラルネットワークは、共通の表現を共有しているのだろうか?
本稿では、異なるアーキテクチャ、異なるタスク(生成的および判別的)、異なる種類の監督(クラス教師あり、テキスト教師あり、自己教師あり)を持つモデルにまたがる「ロゼッタニューロン」と呼ばれる共通機能の存在を実証する。
そこで我々は,Rosetta Neuronsの辞書を,クラスSupervised-ResNet50,DINO-ResNet50,DINO-ViT,MAE,CLIP-ResNet50,BigGAN,StyleGAN-2,StyleGAN-XLでマイニングするアルゴリズムを提案する。
本研究は,特定の視覚概念や構造が自然界に固有に埋め込まれており,特定のタスクやアーキテクチャに関わらず,意味ラベルを使わずに,異なるモデルで学習できることを示唆する。
分析に含まれる生成モデルにより,共有概念を直接視覚化することができる。
ロゼッタニューロンは、特殊なトレーニングを必要とせず、クラス間のアライメント、シフト、ズームなど、様々な反転ベースの操作を可能にするモデルからモデルへの翻訳を促進する。
関連論文リスト
- Recursive Neural Programs: Variational Learning of Image Grammars and
Part-Whole Hierarchies [1.5990720051907859]
本稿では,部分階層学習問題に対処するため,再帰的ニューラルプログラム(RNP)を導入する。
RNPは、部分階層学習問題に対処する最初の神経生成モデルである。
以上の結果から,RNPはオブジェクトやシーンを直感的で説明可能な構成方法であることがわかった。
論文 参考訳(メタデータ) (2022-06-16T22:02:06Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Uni-EDEN: Universal Encoder-Decoder Network by Multi-Granular
Vision-Language Pre-training [120.91411454661741]
視覚言語認識と生成を容易にするための訓練済みユニバーサル・デコーダネットワーク(Uni-EDEN)を提案する。
Uni-EDENは2ストリームトランスフォーマーベースの構造で、オブジェクトと文エンコーダの3つのモジュールで構成され、各モダリティの表現を別々に学習する。
論文 参考訳(メタデータ) (2022-01-11T16:15:07Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Neural Baselines for Word Alignment [0.0]
4つの言語対に対する教師なし単語アライメントのためのニューラルモデルの検討と評価を行った。
我々は、IBM-1と隠れマルコフモデルのニューラルバージョンが、個々のモデルよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2020-09-28T07:51:03Z) - Evolutionary Architecture Search for Graph Neural Networks [23.691915813153496]
本稿では,大規模グラフニューラルネットワーク(GNN)アーキテクチャ空間における個々のモデルの進化を通じて,新しいAutoMLフレームワークを提案する。
我々の知る限りでは、GNNモデルの進化的アーキテクチャ探索を導入し、評価する最初の試みである。
論文 参考訳(メタデータ) (2020-09-21T22:11:53Z) - Brain-inspired global-local learning incorporated with neuromorphic
computing [35.70151531581922]
我々は,脳に触発されたメタラーニングパラダイムと,神経力学とシナプス可塑性を取り入れた識別可能なスパイキングモデルを導入することで,ニューロモルフィックハイブリッド学習モデルを報告した。
ニューロモルフィック・ビジョン・センサにおける数ショット学習、連続学習、フォールトトレランス学習を含む複数のタスクにおいて、このモデルの利点を実証する。
論文 参考訳(メタデータ) (2020-06-05T04:24:19Z) - Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。
その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。
この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
論文 参考訳(メタデータ) (2020-05-31T18:02:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。