論文の概要: Attention: Marginal Probability is All You Need?

• arxiv url: http://arxiv.org/abs/2304.04556v1
• Date: Fri, 7 Apr 2023 14:38:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:10:37.908604
• Title: Attention: Marginal Probability is All You Need?
• Title（参考訳）: 注意: 限界確率は必要か?
• Authors: Ryan Singh, Christopher L. Buckley
• Abstract要約: 我々は、注意機構のための代替ベイズ基盤を提案する。 機械学習において、どのように異なる注目アーキテクチャを統合するかを示す。 この研究が、より洗練された直感を注目アーキテクチャの重要な特性に導くことを願っています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms are a central property of cognitive systems allowing them to selectively deploy cognitive resources in a flexible manner. Attention has been long studied in the neurosciences and there are numerous phenomenological models that try to capture its core properties. Recently attentional mechanisms have become a dominating architectural choice of machine learning and are the central innovation of Transformers. The dominant intuition and formalism underlying their development has drawn on ideas of keys and queries in database management systems. In this work, we propose an alternative Bayesian foundation for attentional mechanisms and show how this unifies different attentional architectures in machine learning. This formulation allows to to identify commonality across different attention ML architectures as well as suggest a bridge to those developed in neuroscience. We hope this work will guide more sophisticated intuitions into the key properties of attention architectures and suggest new ones.
• Abstract（参考訳）: アテンション機構は認知システムの中心的な特性であり、選択的に認知資源を柔軟に展開することができる。 神経科学で長い間研究されており、その核となる性質を捉えようとする多くの現象学モデルが存在する。 近年、機械学習のアーキテクチャ的選択が注目され、トランスフォーマーの中心的な革新となっている。 彼らの開発の根底にある直観と形式主義は、データベース管理システムにおけるキーとクエリの考え方に基づいている。 本研究では,注意メカニズムのための代替ベイズ的基盤を提案するとともに,機械学習における異なる注意的アーキテクチャをいかに統合するかを示す。 この定式化により、異なる注意mlアーキテクチャ間の共通性を識別し、神経科学で開発されたものへの橋渡しを提案できる。 この研究は、より洗練された直観を注目アーキテクチャの重要な特性に導き、新しいものを提案することを願っています。

関連論文リスト

• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Kernel Based Cognitive Architecture for Autonomous Agents [91.3755431537592]
  本稿では,認知機能構築への進化的アプローチについて考察する。 本稿では,シンボル創発問題に基づくエージェントの進化を保証する認知アーキテクチャについて考察する。
  論文  参考訳（メタデータ） (2022-07-02T12:41:32Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)
• Brain-inspired Distributed Cognitive Architecture [0.0]
  感覚処理,分類,文脈予測,感情的タグ付けを取り入れた,脳に触発された認知アーキテクチャを提案する。 本研究は,バイオリアリスティックな注目方向と感覚選択の基礎を築き,バイオリアリスティックな人工知能システムを実現するための重要なステップであると考えている。
  論文  参考訳（メタデータ） (2020-05-18T11:38:32Z)
• Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning [0.0]
  本稿では,自己組織マップとヘビアン様学習を用いた再突入理論に基づく脳刺激型ニューラルシステムを提案する。 システムトポロジがユーザによって固定されるのではなく,自己組織化によって学習されるような,いわゆるハードウェアの可塑性の獲得について述べる。
  論文  参考訳（メタデータ） (2020-04-11T21:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。