論文の概要: Rosetta Neurons: Mining the Common Units in a Model Zoo

• arxiv url: http://arxiv.org/abs/2306.09346v2
• Date: Fri, 16 Jun 2023 04:36:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 10:42:11.376450
• Title: Rosetta Neurons: Mining the Common Units in a Model Zoo
• Title（参考訳）: ロゼッタニューロン:模型動物園における共通単位のマイニング
• Authors: Amil Dravid, Yossi Gandelsman, Alexei A. Efros, Assaf Shocher
• Abstract要約: 我々は、様々なモデルにまたがって「ロセッタニューロン」と呼ばれる共通機能の存在を実証する。 本稿では,ロゼッタニューロンの辞書を複数の一般的な視覚モデルでマイニングするアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 33.514508896870346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do different neural networks, trained for various vision tasks, share some common representations? In this paper, we demonstrate the existence of common features we call "Rosetta Neurons" across a range of models with different architectures, different tasks (generative and discriminative), and different types of supervision (class-supervised, text-supervised, self-supervised). We present an algorithm for mining a dictionary of Rosetta Neurons across several popular vision models: Class Supervised-ResNet50, DINO-ResNet50, DINO-ViT, MAE, CLIP-ResNet50, BigGAN, StyleGAN-2, StyleGAN-XL. Our findings suggest that certain visual concepts and structures are inherently embedded in the natural world and can be learned by different models regardless of the specific task or architecture, and without the use of semantic labels. We can visualize shared concepts directly due to generative models included in our analysis. The Rosetta Neurons facilitate model-to-model translation enabling various inversion-based manipulations, including cross-class alignments, shifting, zooming, and more, without the need for specialized training.
• Abstract（参考訳）: さまざまなビジョンタスクのためにトレーニングされた異なるニューラルネットワークは、共通の表現を共有しているのだろうか? 本稿では、異なるアーキテクチャ、異なるタスク(生成的および判別的)、異なる種類の監督(クラス教師あり、テキスト教師あり、自己教師あり)を持つモデルにまたがる「ロゼッタニューロン」と呼ばれる共通機能の存在を実証する。 そこで我々は,Rosetta Neuronsの辞書を,クラスSupervised-ResNet50,DINO-ResNet50,DINO-ViT,MAE,CLIP-ResNet50,BigGAN,StyleGAN-2,StyleGAN-XLでマイニングするアルゴリズムを提案する。 本研究は,特定の視覚概念や構造が自然界に固有に埋め込まれており,特定のタスクやアーキテクチャに関わらず,意味ラベルを使わずに,異なるモデルで学習できることを示唆する。 分析に含まれる生成モデルにより,共有概念を直接視覚化することができる。 ロゼッタニューロンは、特殊なトレーニングを必要とせず、クラス間のアライメント、シフト、ズームなど、様々な反転ベースの操作を可能にするモデルからモデルへの翻訳を促進する。

関連論文リスト

• On the universality of neural encodings in CNNs [5.064404027153094]
  学習された固有ベクトルは、VGG型ネットワークの様々な層に対して、異なる自然画像データセットにまたがって普遍的であることを示す。 彼らは、より基本的なレベルで、トランスファーラーニングの成功を説明する。
  論文  参考訳（メタデータ） (2024-09-28T21:30:25Z)
• Revealing Vision-Language Integration in the Brain with Multimodal Networks [21.88969136189006]
  我々は,ヒト脳のマルチモーダルな統合部位を,ヒトが映画を観ている最中のステレオ脳波(SEEG)記録を予測することにより探索するために,マルチディープニューラルネットワーク(DNN)を用いた。 マルチモーダル・ビジョン・ランゲージ・モデルでは,非モーダル言語や非モーダル・ビジョン,線形統合言語ビジョン・モデルよりも優れた録音を予測できる領域として,マルチモーダル統合のサイトを運用している。
  論文  参考訳（メタデータ） (2024-06-20T16:43:22Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Recursive Neural Programs: Variational Learning of Image Grammars and Part-Whole Hierarchies [1.5990720051907859]
  本稿では,部分階層学習問題に対処するため,再帰的ニューラルプログラム(RNP)を導入する。 RNPは、部分階層学習問題に対処する最初の神経生成モデルである。 以上の結果から,RNPはオブジェクトやシーンを直感的で説明可能な構成方法であることがわかった。
  論文  参考訳（メタデータ） (2022-06-16T22:02:06Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Brain-inspired global-local learning incorporated with neuromorphic computing [35.70151531581922]
  我々は,脳に触発されたメタラーニングパラダイムと,神経力学とシナプス可塑性を取り入れた識別可能なスパイキングモデルを導入することで,ニューロモルフィックハイブリッド学習モデルを報告した。 ニューロモルフィック・ビジョン・センサにおける数ショット学習、連続学習、フォールトトレランス学習を含む複数のタスクにおいて、このモデルの利点を実証する。
  論文  参考訳（メタデータ） (2020-06-05T04:24:19Z)
• Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
  本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。 その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。 この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
  論文  参考訳（メタデータ） (2020-05-31T18:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。