論文の概要: From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
- arxiv url: http://arxiv.org/abs/2407.01548v1
- Date: Thu, 25 Apr 2024 05:13:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 22:28:39.834855
- Title: From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
- Title（参考訳）: 認知から計算へ:人間意識とトランスフォーマーアーキテクチャの比較
- Authors: Minglu Zhao, Dehong Xu, Tao Gao,
- Abstract要約: トランスフォーマーアーキテクチャのような人工知能の最近の発展は、モデル設計における注意の考え方を取り入れている。
本研究の目的は,認知機能の観点から,これらのメカニズムの比較分析を行うことである。
- 参考スコア（独自算出の注目度）: 1.5266118210763295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Attention is a cornerstone of human cognition that facilitates the efficient extraction of information in everyday life. Recent developments in artificial intelligence like the Transformer architecture also incorporate the idea of attention in model designs. However, despite the shared fundamental principle of selectively attending to information, human attention and the Transformer model display notable differences, particularly in their capacity constraints, attention pathways, and intentional mechanisms. Our review aims to provide a comparative analysis of these mechanisms from a cognitive-functional perspective, thereby shedding light on several open research questions. The exploration encourages interdisciplinary efforts to derive insights from human attention mechanisms in the pursuit of developing more generalized artificial intelligence.
- Abstract（参考訳）: 注意は人間の認知の基礎であり、日常生活における情報の効率的な抽出を促進する。
トランスフォーマーアーキテクチャのような最近の人工知能の発展は、モデル設計における注意の考え方も取り入れている。
しかし、情報に選択的に出席するという基本原理は共通しているが、人的注意とトランスフォーマーモデルでは、特に能力制約、注意経路、意図的なメカニズムにおいて顕著な差異が示される。
本研究は,これらのメカニズムを認知機能の観点から比較分析し,いくつかのオープンな研究課題に光を当てることを目的としている。
この探索は、より一般化された人工知能を開発するための人間の注意機構から洞察を得るための学際的な努力を奨励している。
関連論文リスト
- EyeTrans: Merging Human and Machine Attention for Neural Code
Summarization [16.694601606682046]
我々は,人間の注意を機械の注意に取り入れて,ニューラルネットワークの要約を強化する手法を開発した。
人間の注意をトランスフォーマーに組み込むことの有効性を実証するため、2つのコード要約タスクに関する包括的な実験を行った。
論文 参考訳（メタデータ） (2024-02-21T19:45:06Z) - A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian
Learning and Free Energy Minimization [55.11642177631929]
大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。
我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
論文 参考訳（メタデータ） (2023-10-14T23:28:48Z) - AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳（メタデータ） (2023-05-04T23:46:49Z) - Attention: Marginal Probability is All You Need? [0.0]
我々は、注意機構のための代替ベイズ基盤を提案する。
機械学習において、どのように異なる注目アーキテクチャを統合するかを示す。
この研究が、より洗練された直感を注目アーキテクチャの重要な特性に導くことを願っています。
論文 参考訳（メタデータ） (2023-04-07T14:38:39Z) - Machine Psychology [54.287802134327485]
我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。
本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。
これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
論文 参考訳（メタデータ） (2023-03-24T13:24:41Z) - Self-attention in Vision Transformers Performs Perceptual Grouping, Not
Attention [11.789983276366986]
視覚変換器の注意機構は人間の視覚的注意と同様の効果を示す。
その結果,色などの視覚的特徴の類似性から,自己注意モジュール群が刺激に現れることが示唆された。
単トン検出実験において、これらのモデルが人間の視覚的注意に利用されるフィードフォワード視覚的サリエンス機構と類似した効果を示すかどうかを検討した。
論文 参考訳（メタデータ） (2023-03-02T19:18:11Z) - Human Parity on CommonsenseQA: Augmenting Self-Attention with External
Attention [66.93307963324834]
本稿では,外部の知識や状況に配慮した外部アテンション機構を備えたトランスフォーマーアーキテクチャの強化を提案する。
提案した外部注意機構は,既存のAIシステムの性能を大幅に向上させることができる。
提案システムは、オープンなCommonsenseQA研究ベンチマークにおいて、89.4%の精度で人間に匹敵する88.9%の精度で人間に匹敵する。
論文 参考訳（メタデータ） (2021-12-06T18:59:02Z) - Attention Mechanisms in Computer Vision: A Survey [75.6074182122423]
本稿では,コンピュータビジョンにおける様々な注意機構について概観する。
チャネルアテンション,空間アテンション,時間アテンション,分岐アテンションなど,アプローチによって分類する。
我々は注意機構研究の今後の方向性を提案する。
論文 参考訳（メタデータ） (2021-11-15T09:18:40Z) - A Review on Intelligent Object Perception Methods Combining
Knowledge-based Reasoning and Machine Learning [60.335974351919816]
物体知覚はコンピュータビジョンの基本的なサブフィールドである。
最近の研究は、物体の視覚的解釈のインテリジェンスレベルを拡大するために、知識工学を統合する方法を模索している。
論文 参考訳（メタデータ） (2019-12-26T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。