論文の概要: Core-Periphery Principle Guided Redesign of Self-Attention in Transformers

• arxiv url: http://arxiv.org/abs/2303.15569v1
• Date: Mon, 27 Mar 2023 19:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 17:28:55.373480
• Title: Core-Periphery Principle Guided Redesign of Self-Attention in Transformers
• Title（参考訳）: コア周辺原理による変圧器の自己注意の再設計
• Authors: Xiaowei Yu, Lu Zhang, Haixing Dai, Yanjun Lyu, Lin Zhao, Zihao Wu, David Liu, Tianming Liu and Dajiang Zhu
• Abstract要約: ANN(Best-Performing Neural Network)は、バイオニューラルネットワーク(BNN)に類似している。 視覚変換器(ViT)の自己注意における情報伝達機構の導出にコア・ペリファリー(CP)の組織を活用している。 CP-ViT に繋がる CP-ViT グラフのスイートスポットが存在することを示す。
• 参考スコア（独自算出の注目度）: 10.818456543370733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing more efficient, reliable, and explainable neural network architectures is critical to studies that are based on artificial intelligence (AI) techniques. Previous studies, by post-hoc analysis, have found that the best-performing ANNs surprisingly resemble biological neural networks (BNN), which indicates that ANNs and BNNs may share some common principles to achieve optimal performance in either machine learning or cognitive/behavior tasks. Inspired by this phenomenon, we proactively instill organizational principles of BNNs to guide the redesign of ANNs. We leverage the Core-Periphery (CP) organization, which is widely found in human brain networks, to guide the information communication mechanism in the self-attention of vision transformer (ViT) and name this novel framework as CP-ViT. In CP-ViT, the attention operation between nodes is defined by a sparse graph with a Core-Periphery structure (CP graph), where the core nodes are redesigned and reorganized to play an integrative role and serve as a center for other periphery nodes to exchange information. We evaluated the proposed CP-ViT on multiple public datasets, including medical image datasets (INbreast) and natural image datasets. Interestingly, by incorporating the BNN-derived principle (CP structure) into the redesign of ViT, our CP-ViT outperforms other state-of-the-art ANNs. In general, our work advances the state of the art in three aspects: 1) This work provides novel insights for brain-inspired AI: we can utilize the principles found in BNNs to guide and improve our ANN architecture design; 2) We show that there exist sweet spots of CP graphs that lead to CP-ViTs with significantly improved performance; and 3) The core nodes in CP-ViT correspond to task-related meaningful and important image patches, which can significantly enhance the interpretability of the trained deep model.
• Abstract（参考訳）: より効率的で信頼性が高く説明可能なニューラルネットワークアーキテクチャを設計することは、人工知能(AI)技術に基づく研究に不可欠である。 過去の研究では、最高のパフォーマンスを持つANNは、生物ニューラルネットワーク(BNN)と驚くほど似ていることが分かり、ANNとBNNは、機械学習または認知/行動タスクにおいて最適なパフォーマンスを達成するための共通の原則を共有している可能性があることを示唆している。 この現象に触発され、我々は積極的にBNNの組織原則を教育し、ANNの再設計を指導した。 我々は、人間の脳ネットワークで広く見られるCP(Core-Periphery)組織を活用し、視覚変換器(ViT)の自己注意における情報通信機構をガイドし、この新しいフレームワークをCP-ViTと命名する。 cp-vitでは、ノード間の注意操作は、コア-ペリペリー構造(cpグラフ)を持つスパースグラフによって定義され、コアノードは統合的役割を果たすように再設計され再構成され、情報交換のための他の周辺ノードの中心となる。 提案したCP-ViTを、医療画像データセット(INbreast)や自然画像データセットを含む複数の公開データセットで評価した。 興味深いことに、BNN由来の原則(CP構造)をViTの再設計に取り入れることで、CP-ViTは他の最先端のANNよりも優れています。 概して、我々の仕事は芸術の状態を3つの側面で進めている。 1) この研究は、脳にインスパイアされたAIに新しい洞察を与えます。我々は、BNNの原則を利用して、ANNアーキテクチャ設計をガイドし、改善することができます。 2)cp-vitsにつながるcpグラフのスイートスポットが存在し,その性能が著しく向上していることを示す。 3)cp-vitのコアノードはタスク関連有意義で重要な画像パッチに対応しており,訓練された深層モデルの解釈性が著しく向上する。

関連論文リスト

• Predicting Infant Brain Connectivity with Federated Multi-Trajectory GNNs using Scarce Data [54.55126643084341]
  既存のディープラーニングソリューションには,3つの大きな制限がある。 我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。 フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
  論文  参考訳（メタデータ） (2024-01-01T10:20:01Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• CP-CNN: Core-Periphery Principle Guided Convolutional Neural Network [9.015666133509857]
  我々は、ネットワーク配線パターンの設計と畳み込み操作のスパーシフィケーションにコア周辺原理を実装した。 私たちの研究は、人間の脳からの洞察をニューラルネットワークの設計に取り入れることで、脳にインスパイアされたAIの分野の成長に寄与します。
  論文  参考訳（メタデータ） (2023-03-27T03:59:43Z)
• Spiking Graph Convolutional Networks [19.36064180392385]
  SpikingGCNは、GCNの埋め込みとSNNの生体忠実性特性を統合することを目的としたエンドツーエンドフレームワークである。 ニューロモルフィックチップ上でのスパイキングGCNは、グラフデータ解析にエネルギー効率の明確な利点をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-05T16:44:36Z)
• Comparison Analysis of Traditional Machine Learning and Deep Learning Techniques for Data and Image Classification [62.997667081978825]
  本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。 まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。 次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
  論文  参考訳（メタデータ） (2022-04-11T11:34:43Z)
• PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection [57.49788100647103]
  LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。 現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。 本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
  論文  参考訳（メタデータ） (2020-12-18T18:06:43Z)
• Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization [41.867290324754094]
  グラフニューラルネットワーク(GNN)は、様々なアプリケーションにおいて優れたパフォーマンスを実現しているが、大規模グラフのトレーニングには費用がかかる。 本研究では,GNNの伝達学習のための理論的基盤と実用的有用な枠組みを確立する。
  論文  参考訳（メタデータ） (2020-09-11T02:31:18Z)
• Beyond Localized Graph Neural Networks: An Attributed Motif Regularization Framework [6.790281989130923]
  InfoMotifは、グラフ上の半教師付き、モチーフ正規化、学習フレームワークである。 グラフニューラルネットワーク(GNN)におけるメッセージパッシングの2つの重要な制限を克服する。 6つの多種多様な実世界のデータセットで有意な増加(3-10%の精度)を示した。
  論文  参考訳（メタデータ） (2020-09-11T02:03:09Z)
• When Does Self-Supervision Help Graph Convolutional Networks? [118.37805042816784]
  自己スーパービジョンは、画像のより転送可能で一般化可能で堅牢な表現学習のために、畳み込みニューラルネットワーク(CNN)を訓練するために採用されている。 本研究では,グラフ畳み込みネットワーク(GCN)に自己超越を取り入れた最初の体系的探索について報告する。 その結果、適切に設計されたタスク形式と構成機構により、より一般化性と堅牢性を得る上で、自己スーパービジョンはGCNに恩恵をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2020-06-16T13:29:48Z)
• Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
  我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。 人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。 実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-15T23:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。