Fugu-MT 論文翻訳(概要): On the Anatomy of Attention

論文の概要: On the Anatomy of Attention

arxiv url: http://arxiv.org/abs/2407.02423v1
Date: Tue, 2 Jul 2024 16:50:26 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 14:36:57.129433
Title: On the Anatomy of Attention
Title（参考訳）: 注意の解剖学について
Authors: Nikhil Khatri, Tuomas Laakkonen, Jonathon Liu, Vincent Wang-Maścianica,
Abstract要約: 本稿では、機械学習モデルについて体系的に関連付け、推論するために、カテゴリ理論図式形式を導入する。我々の図は直感的にアーキテクチャを提示するが、重要な詳細を欠くことなく、モデル間の自然な関係はグラフィカルな変換によって捉えられる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a category-theoretic diagrammatic formalism in order to systematically relate and reason about machine learning models. Our diagrams present architectures intuitively but without loss of essential detail, where natural relationships between models are captured by graphical transformations, and important differences and similarities can be identified at a glance. In this paper, we focus on attention mechanisms: translating folklore into mathematical derivations, and constructing a taxonomy of attention variants in the literature. As a first example of an empirical investigation underpinned by our formalism, we identify recurring anatomical components of attention, which we exhaustively recombine to explore a space of variations on the attention mechanism.
Abstract（参考訳）: 本稿では、機械学習モデルについて体系的に関連付け、推論するために、カテゴリ理論図式形式を導入する。図は直感的にアーキテクチャを示すが、重要な詳細を欠くことなく、グラフィカルな変換によってモデル間の自然な関係が捉えられ、重要な違いと類似点が一目でわかる。本稿では,民間伝承を数学的導出に翻訳し,文献における注意変化の分類学を構築することを目的とした注意機構について述べる。フォーマリズムに根ざした経験的調査の第一例として,注意の解剖学的成分を同定し,注意機構の変動の空間を探索するため,徹底的に再結合した。

関連論文リスト

Differentiation and Specialization of Attention Heads via the Refined Local Learning Coefficient [0.49478969093606673]
特異学習理論に基づくモデル複雑性の尺度である局所学習係数 (LLC) の洗練された変種を導入する。本研究では,トランスフォーマー言語モデルにおける内部構造の開発について検討する。
論文参考訳（メタデータ） (2024-10-03T20:51:02Z)
From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures [1.5266118210763295]
トランスフォーマーアーキテクチャのような人工知能の最近の発展は、モデル設計における注意の考え方を取り入れている。本研究の目的は,認知機能の観点から,これらのメカニズムの比較分析を行うことである。
論文参考訳（メタデータ） (2024-04-25T05:13:38Z)
Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
遠方表現学習は、観測データ内の本質的要因を抽出する試みである。我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
論文参考訳（メタデータ） (2024-02-15T05:07:54Z)
Binding Dynamics in Rotating Features [72.80071820194273]
本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
論文参考訳（メタデータ） (2024-02-08T12:31:08Z)
Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文参考訳（メタデータ） (2023-10-03T05:40:56Z)
AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文参考訳（メタデータ） (2023-05-04T23:46:49Z)
A General Survey on Attention Mechanisms in Deep Learning [7.5537115673774275]
この調査は、文献で提案されている最も重要な注意機構の概要を提供する。種々の注意機構は、一般的な注意モデル、一様表記法、および注意機構の包括的分類法からなる枠組みを用いて説明される。
論文参考訳（メタデータ） (2022-03-27T10:06:23Z)
Self-Supervised Graph Representation Learning for Neuronal Morphologies [75.38832711445421]
ラベルのないデータセットから3次元神経形態の低次元表現を学習するためのデータ駆動型アプローチであるGraphDINOを提案する。 2つの異なる種と複数の脳領域において、この方法では、専門家による手動の特徴に基づく分類と同程度に形態学的細胞型クラスタリングが得られることを示す。提案手法は,大規模データセットにおける新しい形態的特徴や細胞型の発見を可能にする可能性がある。
論文参考訳（メタデータ） (2021-12-23T12:17:47Z)
On the Dynamics of Training Attention Models [30.85940880569692]
勾配勾配勾配を用いた簡単な注意に基づく分類モデルの訓練の力学について検討する。我々は、注意出力が線形分類器によって分類される場合、訓練は識別語への参加に収束しなければならないことを証明した。
論文参考訳（メタデータ） (2020-11-19T18:55:30Z)
How Far Does BERT Look At:Distance-based Clustering and Analysis of BERT$'$s Attention [20.191319097826266]
注意マップを教師なしクラスタリングによって、大きく異なるパターンにクラスタリングします。提案する特徴は,Transformer モデルにおける異なる注意ヘッドのキャリブレーションに利用できる。
論文参考訳（メタデータ） (2020-11-02T12:52:31Z)
Explain and Improve: LRP-Inference Fine-Tuning for Image Captioning Models [82.3793660091354]
本稿では,注意を可視化する以外に,注意機構を付加した画像キャプションモデルの予測について分析する。我々は,注意機構を備えた画像キャプションモデルに適したレイヤワイド関連伝搬(LRP)と勾配に基づく説明法を開発した。
論文参考訳（メタデータ） (2020-01-04T05:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。