論文の概要: Brain-like emergent properties in deep networks: impact of network architecture, datasets and training

• arxiv url: http://arxiv.org/abs/2411.16326v1
• Date: Mon, 25 Nov 2024 12:22:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:29.540412
• Title: Brain-like emergent properties in deep networks: impact of network architecture, datasets and training
• Title（参考訳）: ディープネットワークにおける脳様創発特性 : ネットワークアーキテクチャ、データセット、トレーニングの影響
• Authors: Niranjan Rajesh, Georgin Jacob, SP Arun,
• Abstract要約: ディープネットワークが急速に向上しているにもかかわらず、実際のビジョンタスクでは人間よりも優れています。 このパラドックス的な一般化の欠如は、ディープネットワークをより脳に似たものにすることで対処できる。 深層ネットワーク上でテスト可能な知覚的・神経的創発的特性について報告する。
• 参考スコア（独自算出の注目度）: 3.1893819671093775
• License:
• Abstract: Despite the rapid pace at which deep networks are improving on standardized vision benchmarks, they are still outperformed by humans on real-world vision tasks. This paradoxical lack of generalization could be addressed by making deep networks more brain-like. Although several benchmarks have compared the ability of deep networks to predict brain responses to natural images, they do not capture subtle but important brain-like emergent properties. To resolve this issue, we report several well-known perceptual and neural emergent properties that can be tested on deep networks. To evaluate how various design factors impact brain-like properties, we systematically evaluated over 30 state-of-the-art networks with varying network architectures, training datasets and training regimes. Our main findings are as follows. First, network architecture had the strongest impact on brain-like properties compared to dataset and training regime variations. Second, networks varied widely in their alignment to the brain with no single network outperforming all others. Taken together, our results complement existing benchmarks by revealing brain-like properties that are either emergent or lacking in state-of-the-art deep networks.
• Abstract（参考訳）: ディープネットワークが標準化されたビジョンベンチマークで改善されている急速なペースにもかかわらず、現実のビジョンタスクでは人間よりも優れています。 このパラドックス的な一般化の欠如は、ディープネットワークをより脳に似たものにすることで対処できる。 いくつかのベンチマークでは、ディープ・ネットワークが自然画像に対して脳の反応を予測する能力と比較されているが、これらは微妙だが重要な脳のような創発特性を捉えていない。 この問題を解決するために、ディープネットワーク上でテスト可能な、よく知られた知覚的および神経的創発的特性について報告する。 種々の設計要因が脳にどのような影響を及ぼすかを評価するため,ネットワークアーキテクチャやトレーニングデータセット,トレーニング体制など,30以上の最先端ネットワークを体系的に評価した。 主な発見は以下の通りである。 まず、ネットワークアーキテクチャは、データセットやトレーニング体制のバリエーションと比較して、脳のような特性に最も強い影響を与えました。 第2に、ネットワークは他の全てよりも優れた1つのネットワークが存在しない脳へのアライメントにおいて、ネットワークは広範囲に変化した。 まとめると、我々の結果は既存のベンチマークを補完し、最先端のディープネットワークで発生または不足している脳のような特性を明らかにする。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Brain Decodes Deep Nets [9.302098067235507]
  我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。 私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
  論文  参考訳（メタデータ） (2023-12-03T04:36:04Z)
• Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
  深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。 この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
  論文  参考訳（メタデータ） (2023-01-25T14:37:42Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
  本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。 これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
  論文  参考訳（メタデータ） (2021-07-30T03:37:00Z)
• Towards robust vision by multi-task learning on monkey visual cortex [6.9014416935919565]
  我々は,深部ネットワークを併用して画像分類を行い,マカク一次視覚野(V1)の神経活動を予測する訓練を行った。 その結果,モンキーV1データによるコトレーニングは,トレーニング中に歪みがないにもかかわらず,ロバスト性の向上につながることがわかった。 また、ネットワークの堅牢性が向上するにつれて、ネットワークの表現がより脳に似たものになることを示した。
  論文  参考訳（メタデータ） (2021-07-29T21:55:48Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Architecture Agnostic Neural Networks [33.803822613725984]
  バックプロパゲーションによってトレーニングされていないアーキテクチャに依存しないニューラルネットワークのファミリーを作成します。 これらの高い性能のネットワークファミリーは、同じ空間性、二分重の分布を共有し、静的タスクと動的タスクの両方に成功している。
  論文  参考訳（メタデータ） (2020-11-05T09:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。