論文の概要: Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained
Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2305.17300v1
- Date: Fri, 26 May 2023 23:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 20:32:49.959334
- Title: Exploiting Large Neuroimaging Datasets to Create Connectome-Constrained
Approaches for more Robust, Efficient, and Adaptable Artificial Intelligence
- Title（参考訳）: 大規模ニューロイメージングデータセットを利用して、より堅牢で効率的、適応可能な人工知能のためのコネクトーム制約付きアプローチを作成する
- Authors: Erik C. Johnson, Brian S. Robinson, Gautam K. Vallabha, Justin Joyce,
Jordan K. Matelsky, Raphael Norman-Tenazas, Isaac Western, Marisel
Villafa\~ne-Delgado, Martha Cervantes, Michael S. Robinette, Arun V. Reddy,
Lindsey Kitchell, Patricia K. Rivlin, Elizabeth P. Reilly, Nathan Drenkow,
Matthew J. Roos, I-Jeng Wang, Brock A. Wester, William R. Gray-Roncal, Joan
A. Hoffmann
- Abstract要約: 我々は、脳の地図を含む大きなニューロイメージングデータセットを利用するパイプラインを構想する。
我々は,繰り返しるサブサーキットやモチーフの発見手法を開発した。
第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
- 参考スコア（独自算出の注目度）: 4.998666322418252
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the progress in deep learning networks, efficient learning at the
edge (enabling adaptable, low-complexity machine learning solutions) remains a
critical need for defense and commercial applications. We envision a pipeline
to utilize large neuroimaging datasets, including maps of the brain which
capture neuron and synapse connectivity, to improve machine learning
approaches. We have pursued different approaches within this pipeline
structure. First, as a demonstration of data-driven discovery, the team has
developed a technique for discovery of repeated subcircuits, or motifs. These
were incorporated into a neural architecture search approach to evolve network
architectures. Second, we have conducted analysis of the heading direction
circuit in the fruit fly, which performs fusion of visual and angular velocity
features, to explore augmenting existing computational models with new insight.
Our team discovered a novel pattern of connectivity, implemented a new model,
and demonstrated sensor fusion on a robotic platform. Third, the team analyzed
circuitry for memory formation in the fruit fly connectome, enabling the design
of a novel generative replay approach. Finally, the team has begun analysis of
connectivity in mammalian cortex to explore potential improvements to
transformer networks. These constraints increased network robustness on the
most challenging examples in the CIFAR-10-C computer vision robustness
benchmark task, while reducing learnable attention parameters by over an order
of magnitude. Taken together, these results demonstrate multiple potential
approaches to utilize insight from neural systems for developing robust and
efficient machine learning techniques.
- Abstract（参考訳）: ディープラーニングネットワークの進歩にもかかわらず、エッジでの効率的な学習(適応性、低複雑さの機械学習ソリューションの提供)は、防衛および商用アプリケーションにとって重要なニーズである。
我々は、ニューロンとシナプス接続を捉える脳のマップを含む大規模なニューロイメージングデータセットを利用するパイプラインを構想し、機械学習アプローチを改善する。
我々はこのパイプライン構造の中で異なるアプローチを追求した。
まず、データ駆動による発見の実証として、チームは繰り返しサブ回路やモチーフを発見できる技術を開発した。
これらはネットワークアーキテクチャを進化させるニューラルネットワーク探索アプローチに組み込まれた。
第2に,視覚と角速度の特徴の融合を行う果実ハエの向方向回路の解析を行い,既存の計算モデルの拡張と新たな知見について検討した。
我々のチームは、新しい接続パターンを発見し、新しいモデルを実装し、ロボットプラットフォーム上でセンサー融合を実証した。
第3に、チームはフルーツフライコネクトームのメモリ形成の回路を分析し、新しい生成的リプレイアプローチの設計を可能にした。
最後にチームは、トランスフォーマーネットワークの改善の可能性を探るため、哺乳類の皮質の接続性の分析を開始した。
これらの制約は、cifar-10-cコンピュータビジョンのロバストネスベンチマークタスクにおける最も困難な例のネットワークロバスト性を高め、学習可能な注意パラメータを1桁以上削減した。
これらの結果は、ニューラルネットワークからの洞察を利用して堅牢で効率的な機械学習技術を開発するための、複数の潜在的アプローチを示す。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。
我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。
スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文 参考訳（メタデータ） (2024-08-10T12:43:55Z) - Automatic Discovery of Visual Circuits [66.99553804855931]
本稿では,視覚モデルにおける視覚的概念の認識の基盤となる計算グラフのサブグラフを抽出するスケーラブルな手法について検討する。
提案手法は, モデル出力に因果的に影響を及ぼす回路を抽出し, これらの回路を編集することで, 敵攻撃から大きな事前学習モデルを守ることができることがわかった。
論文 参考訳（メタデータ） (2024-04-22T17:00:57Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z) - Intrinsic Motivation and Episodic Memories for Robot Exploration of
High-Dimensional Sensory Spaces [0.0]
本研究では,マイクロファーミングロボットの画像センサのための好奇心駆動型目標指向探索行動を生成するアーキテクチャを提案する。
画像から低次元特徴をオフラインで教師なしで学習するためのディープニューラルネットワークと、システムの逆および前方運動学を表す浅層ニューラルネットワークのオンライン学習の組み合わせが用いられている。
人工好奇心システムは、予め定義された目標のセットに関心値を割り当て、学習の進捗を最大化すると予想される目標への探索を促進する。
論文 参考訳（メタデータ） (2020-01-07T11:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。