論文の概要: AlignedCut: Visual Concepts Discovery on Brain-Guided Universal Feature Space
- arxiv url: http://arxiv.org/abs/2406.18344v1
- Date: Wed, 26 Jun 2024 13:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 13:19:36.077378
- Title: AlignedCut: Visual Concepts Discovery on Brain-Guided Universal Feature Space
- Title（参考訳）: AlignedCut: 脳誘導のユニバーサル機能空間における視覚概念の発見
- Authors: Huzheng Yang, James Gee, Jianbo Shi,
- Abstract要約: 視覚データ,深層ネットワーク,脳間の興味深い関連性について検討する。
本手法は,脳のボクセルfMRI応答予測をトレーニングの目的とするユニバーサルチャネルアライメントを生成する。
- 参考スコア（独自算出の注目度）: 9.302098067235507
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study the intriguing connection between visual data, deep networks, and the brain. Our method creates a universal channel alignment by using brain voxel fMRI response prediction as the training objective. We discover that deep networks, trained with different objectives, share common feature channels across various models. These channels can be clustered into recurring sets, corresponding to distinct brain regions, indicating the formation of visual concepts. Tracing the clusters of channel responses onto the images, we see semantically meaningful object segments emerge, even without any supervised decoder. Furthermore, the universal feature alignment and the clustering of channels produce a picture and quantification of how visual information is processed through the different network layers, which produces precise comparisons between the networks.
- Abstract（参考訳）: 視覚データ,深層ネットワーク,脳間の興味深い関連性について検討する。
本手法は,脳のボクセルfMRI応答予測をトレーニングの目的とするユニバーサルチャネルアライメントを生成する。
異なる目的で訓練されたディープ・ネットワークが、様々なモデルで共通の特徴チャネルを共有することを発見した。
これらのチャネルは、視覚的概念の形成を示す、異なる脳領域に対応する繰り返しセットにまとめることができる。
チャネル応答のクラスタを画像に追跡すると、教師付きデコーダがなくても意味のあるオブジェクトセグメントが出現する。
さらに、チャネルの普遍的な特徴アライメントとクラスタリングは、異なるネットワーク層を通して視覚情報がどのように処理されるかの図と定量化を生成し、ネットワーク間の正確な比較を生成する。
関連論文リスト
- Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。
RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。
我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
論文 参考訳（メタデータ） (2024-05-17T07:48:27Z) - Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。
画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
論文 参考訳（メタデータ） (2024-02-28T07:53:19Z) - Brain Decodes Deep Nets [9.302098067235507]
我々は、脳にマッピングすることで、大きな訓練済み視覚モデルの可視化と解析を行うツールを開発した。
私たちのイノベーションは、画像に反応して脳のfMRI測定を予測する脳エンコーディングの驚くべき利用から生まれます。
論文 参考訳（メタデータ） (2023-12-03T04:36:04Z) - Squeeze aggregated excitation network [0.0]
畳み込みニューラルネットワークは、視覚タスクのパターンを読み取る空間表現を持つ。
本稿では,Squeeze集約励起ネットワークであるSaEnetを提案する。
論文 参考訳（メタデータ） (2023-08-25T12:30:48Z) - Efficient Multi-Scale Attention Module with Cross-Spatial Learning [4.046170185945849]
効率的なマルチスケールアテンション(EMA)モジュールを提案する。
チャネルごとの情報保持と計算オーバーヘッドの低減に重点を置いている。
我々は画像分類と物体検出タスクについて広範囲にわたるアブレーション研究と実験を行った。
論文 参考訳（メタデータ） (2023-05-23T00:35:47Z) - Peripheral Vision Transformer [52.55309200601883]
我々は生物学的にインスパイアされたアプローチを採用し、視覚認識のためのディープニューラルネットワークの周辺視覚をモデル化する。
本稿では,マルチヘッド自己アテンション層に周辺位置エンコーディングを組み込むことにより,トレーニングデータから視覚領域を様々な周辺領域に分割することをネットワークが学べるようにすることを提案する。
大規模画像Netデータセット上でPerViTと呼ばれる提案したネットワークを評価し,マシン知覚モデルの内部動作を体系的に検討した。
論文 参考訳（メタデータ） (2022-06-14T12:47:47Z) - Channel redundancy and overlap in convolutional neural networks with
channel-wise NNK graphs [36.479195100553085]
畳み込みニューラルネットワーク(CNN)の深い層における特徴空間は、しばしば非常に高次元で解釈が難しい。
理論的にチャネルワイド非負のカーネル(CW-NNK)回帰グラフを分析し、チャネル間の重なり合いを定量化する。
チャネル間の冗長性は,層深度や正規化の程度によって大きく変化している。
論文 参考訳（メタデータ） (2021-10-18T22:50:07Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳（メタデータ） (2020-09-10T17:59:10Z) - Adaptive feature recombination and recalibration for semantic
segmentation with Fully Convolutional Networks [57.64866581615309]
完全畳み込みネットワークを用いたセマンティックセグメンテーションに適応した特徴の組換えと空間適応型再分類ブロックを提案する。
その結果、再結合と再校正は競争ベースラインの結果を改善し、3つの異なる問題にまたがって一般化することを示した。
論文 参考訳（メタデータ） (2020-06-19T15:45:03Z) - Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。
人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。
実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-05-15T23:57:36Z) - See More, Know More: Unsupervised Video Object Segmentation with
Co-Attention Siamese Networks [184.4379622593225]
教師なしビデオオブジェクトセグメンテーションタスクに対処するため,CO-attention Siamese Network (COSNet) と呼ばれる新しいネットワークを導入する。
我々は,ビデオフレーム間の固有相関の重要性を強調し,グローバルなコアテンション機構を取り入れた。
本稿では、ビデオ内のリッチなコンテキストをマイニングするために、異なるコアテンションの変種を導出する、統一的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-01-19T11:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。