論文の概要: Energy-Efficient Visual Search by Eye Movement and Low-Latency Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2310.06578v1
• Date: Tue, 10 Oct 2023 12:39:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 15:25:08.343008
• Title: Energy-Efficient Visual Search by Eye Movement and Low-Latency Spiking Neural Network
• Title（参考訳）: 眼球運動と低遅延スパイクニューラルネットワークによるエネルギー効率の高い視覚探索
• Authors: Yunhui Zhou, Dongqi Han, Yuguo Yu
• Abstract要約: 人間の視覚には、非均一解像度網膜、効率的な眼球運動戦略、およびスパイクニューラルネットワーク(SNN)が組み込まれており、視野のサイズ、視覚解像度、エネルギーコスト、推論遅延の要件のバランスをとる。 本稿では,人間の視覚的検索行動を調査し,最初のSNNに基づく視覚的検索モデルを確立する。 このモデルでは,人間に近い,あるいは準最適の固定戦略を学習し,探索速度と精度で人間より優れ,短時間のササード決定待ち時間とスパースアクティベーションによって高いエネルギー効率を達成することができる。
• 参考スコア（独自算出の注目度）: 8.380017457339756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human vision incorporates non-uniform resolution retina, efficient eye movement strategy, and spiking neural network (SNN) to balance the requirements in visual field size, visual resolution, energy cost, and inference latency. These properties have inspired interest in developing human-like computer vision. However, existing models haven't fully incorporated the three features of human vision, and their learned eye movement strategies haven't been compared with human's strategy, making the models' behavior difficult to interpret. Here, we carry out experiments to examine human visual search behaviors and establish the first SNN-based visual search model. The model combines an artificial retina with spiking feature extraction, memory, and saccade decision modules, and it employs population coding for fast and efficient saccade decisions. The model can learn either a human-like or a near-optimal fixation strategy, outperform humans in search speed and accuracy, and achieve high energy efficiency through short saccade decision latency and sparse activation. It also suggests that the human search strategy is suboptimal in terms of search speed. Our work connects modeling of vision in neuroscience and machine learning and sheds light on developing more energy-efficient computer vision algorithms.
• Abstract（参考訳）: human visionには、不均一解像度網膜、効率的な眼球運動戦略、およびスパイキングニューラルネットワーク(snn)が組み込まれており、視野サイズ、視覚解像度、エネルギーコスト、推論レイテンシの要件のバランスがとられている。 これらの特性は、人間のようなコンピュータビジョンの開発に興味を引いた。 しかし、既存のモデルは人間の視覚の3つの特徴を完全に組み込んでおらず、その学習された眼の動き戦略は人間の戦略と比べられておらず、モデルの動作を解釈することが困難になっている。 そこで我々は,人間の視覚的探索行動を調べる実験を行い,最初のSNNに基づく視覚的探索モデルを確立する。 このモデルは、人工網膜とスパイキング機能抽出、メモリ、およびsaccade決定モジュールを組み合わせることで、高速かつ効率的なsaccade決定に人口コーディングを使用する。 このモデルでは,人間に近い,あるいは準最適の固定戦略を学習し,探索速度と精度で人間より優れ,短時間のササード決定遅延とスパースアクティベーションによって高いエネルギー効率を達成することができる。 また,検索速度の面では,人間の検索戦略が最適以下であることが示唆された。 我々の研究は神経科学と機械学習における視覚のモデリングを結びつけ、よりエネルギー効率の良いコンピュータビジョンアルゴリズムの開発に光を当てています。

関連論文リスト

• Neural 3D decoding for human vision diagnosis [76.41771117405973]
  われわれは、AIが2D視覚から視覚的に可視で機能的により包括的な脳信号からデコードされた3D視覚へと進化することで、現在の最先端技術を超えることができることを示す。 本研究では、2D画像で提示された被験者のfMRIデータを入力として、対応する3Dオブジェクト視覚を出力する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Achieving More Human Brain-Like Vision via Human EEG Representational Alignment [1.811217832697894]
  非侵襲脳波に基づく人間の脳活動に対応する視覚モデル「Re(presentational)Al(ignment)net」を提案する。 我々の革新的な画像から脳への多層符号化フレームワークは、複数のモデル層を最適化することにより、人間の神経のアライメントを向上する。 我々の発見は、ReAlnetが人工と人間の視覚のギャップを埋め、より脳に似た人工知能システムへの道を歩むブレークスルーを表していることを示唆している。
  論文  参考訳（メタデータ） (2024-01-30T18:18:41Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Modeling Human Eye Movements with Neural Networks in a Maze-Solving Task [2.092312847886424]
  眼球運動の深部生成モデルを構築し,眼球運動と眼球運動の融合を図った。 人間の目の動きは、できるだけ効率的にタスクを実行するのではなく、迷路を横断する物体の内部シミュレーションを実行するように最適化されたモデルによって予測される。
  論文  参考訳（メタデータ） (2022-12-20T15:48:48Z)
• Simulating Human Gaze with Neural Visual Attention [44.65733084492857]
  我々は、下流の視覚課題のガイダンスをアテンション・モデリングに統合するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。 我々は、生物学的に制約されたニューラルネットワークが、この目的のために訓練されることなく、人間の様のスキャンパスを生成することを観察する。
  論文  参考訳（メタデータ） (2022-11-22T09:02:09Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses [68.96380145211093]
  皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。 現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。 我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
  論文  参考訳（メタデータ） (2022-09-27T17:33:19Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [3.8738982761490988]
  人間の視覚と比較して、畳み込みニューラルネットワーク(CNN)に基づくコンピュータビジョンは、敵の雑音に対してより脆弱である。 この違いは、眼が視覚入力をどのようにサンプルし、脳が網膜サンプルを背側および腹側視覚経路を通してどのように処理するかに起因している可能性が高い。 我々は、人間の網膜を模倣する入力サンプリング器、次に見る場所を案内する背側ネットワーク、網膜のサンプルを表す腹側ネットワークを含む、反復的なニューラルネットワークを設計する。 これらのモジュールをひとつにまとめると、モデルはイメージを複数回見て、各見た目で健全な部分に参加し、画像を認識するために時間をかけて表現を蓄積する。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)
• Behind the Machine's Gaze: Biologically Constrained Neural Networks Exhibit Human-like Visual Attention [40.878963450471026]
  トップダウン方式でビジュアル・スキャンパスを生成するニューラル・ビジュアル・アテンション(NeVA)アルゴリズムを提案する。 提案手法は,人間の走査パスと類似性の観点から,最先端の非監視的注意モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-19T18:57:47Z)
• Searching the Search Space of Vision Transformer [98.96601221383209]
  視覚変換器は、認識や検出などの視覚的なタスクにおいて、大きな視覚的表現力を示してきた。 我々は,このプロセスを自動化するために,アーキテクチャだけでなく検索空間も探索することで,ニューラルアーキテクチャサーチを提案する。 空間探索プロセスに応じて広範に解析を行う汎用視覚変換器の設計ガイドラインを提供する。
  論文  参考訳（メタデータ） (2021-11-29T17:26:07Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。