論文の概要: Determinantal Point Process Attention Over Grid Cell Code Supports Out of Distribution Generalization

• arxiv url: http://arxiv.org/abs/2305.18417v2
• Date: Thu, 18 Jan 2024 15:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 20:47:35.185861
• Title: Determinantal Point Process Attention Over Grid Cell Code Supports Out of Distribution Generalization
• Title（参考訳）: 配電系統の一般化を支援する格子セルコードに対する決定点プロセスの注意
• Authors: Shanka Subhra Mondal, Steven Frankland, Taylor Webb, and Jonathan D. Cohen
• Abstract要約: 我々は,脳内の処理特性を同定し,高い一般化性能に寄与する可能性がある。 本稿では,標準タスク最適化エラーと DPP-A を併用した損失関数が,グリッドセルコードの繰り返しモチーフを活用可能であることを示す。 これは、哺乳類の脳の格子細胞コードがどのように一般化性能に寄与するかの解釈の両方を提供する。
• 参考スコア（独自算出の注目度）: 5.422292504420425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have made tremendous gains in emulating human-like intelligence, and have been used increasingly as ways of understanding how the brain may solve the complex computational problems on which this relies. However, these still fall short of, and therefore fail to provide insight into how the brain supports strong forms of generalization of which humans are capable. One such case is out-of-distribution (OOD) generalization-successful performance on test examples that lie outside the distribution of the training set. Here, we identify properties of processing in the brain that may contribute to this ability. We describe a two-part algorithm that draws on specific features of neural computation to achieve OOD generalization, and provide a proof of concept by evaluating performance on two challenging cognitive tasks. First we draw on the fact that the mammalian brain represents metric spaces using grid cell code (e.g., in entorhinal cortex): abstract representations of relational structure, organized in recurring motifs that cover the representational space. Second, we propose an attentional mechanism that operates over the grid cell code using Determinantal Point Process (DPP), that we call DPP attention (DPP-A) -- a transformation that ensures maximum sparseness in the coverage of that space. We show that a loss function that combines standard task-optimized error with DPP-A can exploit the recurring motifs in the grid cell code, and can be integrated with common architectures to achieve strong OOD generalization performance on analogy and arithmetic tasks. This provides both an interpretation of how the grid cell code in the mammalian brain may contribute to generalization performance, and at the same time a potential means for improving such capabilities in artificial neural networks.
• Abstract（参考訳）: ディープニューラルネットワークは、人間のような知性をエミュレートする上で大きな進歩を遂げており、脳がそれに依存する複雑な計算問題をどう解決するかを理解する方法として、ますます使われている。 しかし、これらはまだ不足しているため、脳が人間の能力の強い一般化をサポートする方法についての洞察を得られていない。 そのようなケースの1つは、トレーニングセットの配布外にあるテスト例の一般化成功(ood)パフォーマンスである。 ここでは、この能力に寄与する可能性のある脳内処理の特性を同定する。 本稿では,ood一般化を実現するために,神経計算の具体的特徴を浮き彫りにした2部アルゴリズムについて述べるとともに,二つの難解な認知タスクにおける性能評価による概念実証を提供する。 まず、哺乳類の脳が格子細胞コード(例えば角膜皮質)を用いて距離空間を表現しているという事実から、関係構造を抽象的に表現し、表現空間をカバーしている繰り返しモチーフで整理する。 第二に、DPPアテンション(DPP-A)と呼ばれる、DPP(Determinantal Point Process)を用いたグリッドセルコード上での注意機構を提案する。 標準タスク最適化エラーとdpp-aを組み合わせた損失関数は、グリッドセルコードの繰り返しモチーフを活用でき、共通アーキテクチャと統合でき、アナログや算術タスクにおいて強力なood一般化性能を達成することができる。 これは、哺乳類の脳の格子細胞コードが一般化性能にどのように寄与するかの解釈と、ニューラルネットワークにおけるそのような能力を改善する潜在的な手段の両方を提供する。

関連論文リスト

• Gradient-based inference of abstract task representations for generalization in neural networks [5.794537047184604]
  ニューラルネットワークを介してタスク表現層に逆伝播する勾配は、現在のタスク要求を推測する効率的な方法であることを示す。 勾配に基づく推論は、学習効率の向上と、新しいタスクや制限への一般化をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-07-24T15:28:08Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Redundancy and Concept Analysis for Code-trained Language Models [5.726842555987591]
  コード学習言語モデルは、様々なコードインテリジェンスタスクに非常に効果的であることが証明されている。 計算ボトルネックとメモリ制約のため、多くのソフトウェアエンジニアリングアプリケーションのトレーニングとデプロイが難しい場合がある。 我々は,ソースコードモデルに対する最初のニューロンレベルの解析を行い,潜在表現内でのテクスチエントニューロンの同定を行う。
  論文  参考訳（メタデータ） (2023-05-01T15:22:41Z)
• Improved generalization with deep neural operators for engineering systems: Path towards digital twin [0.4551615447454769]
  我々は,ブランチ/トランクアーキテクチャを用いた Onets 実装である Deep Operator Networks (DeepONets) の性能評価を行った。 DeepONets は解演算子を正確に学習することができ、ODE および拡散問題に対して 0.96 以上の予測精度のスコアを得ることができる。 さらに、目に見えないシナリオ(ゼロショットの特徴)で評価すると、訓練されたモデルは優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2023-01-17T04:57:31Z)
• Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
  本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。 本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T20:11:17Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。