論文の概要: Transformers and Cortical Waves: Encoders for Pulling In Context Across
Time
- arxiv url: http://arxiv.org/abs/2401.14267v1
- Date: Thu, 25 Jan 2024 16:01:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 14:08:38.669882
- Title: Transformers and Cortical Waves: Encoders for Pulling In Context Across
Time
- Title(参考訳): 変圧器と皮質波:時間とともにコンテキストをプルするエンコーダ
- Authors: Lyle Muller, Patricia S. Churchland, and Terrence J. Sejnowski
- Abstract要約: 本研究では,入力シーケンス中の単語のペア間の関連性を計算することにより,変換器の時間的文脈を向上できることを示す。
単一皮質領域を横断する神経活動の波や脳全体規模での複数の領域を横断する神経活動の波も同様の符号化原理を実装できる可能性が示唆された。
- 参考スコア(独自算出の注目度): 0.3749861135832072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The capabilities of transformer networks such as ChatGPT and other Large
Language Models (LLMs) have captured the world's attention. The crucial
computational mechanism underlying their performance relies on transforming a
complete input sequence - for example, all the words in a sentence into a long
"encoding vector" - that allows transformers to learn long-range temporal
dependencies in naturalistic sequences. Specifically, "self-attention" applied
to this encoding vector enhances temporal context in transformers by computing
associations between pairs of words in the input sequence. We suggest that
waves of neural activity, traveling across single cortical regions or across
multiple regions at the whole-brain scale, could implement a similar encoding
principle. By encapsulating recent input history into a single spatial pattern
at each moment in time, cortical waves may enable temporal context to be
extracted from sequences of sensory inputs, the same computational principle
used in transformers.
- Abstract(参考訳): ChatGPTや他の大規模言語モデル(LLM)のようなトランスフォーマーネットワークの能力は、世界中の注目を集めている。
その性能の基礎となる重要な計算メカニズムは、文中の全ての単語を長い「エンコーディングベクトル」に変換することで、トランスフォーマーは自然数列における長距離の時間依存を学習できる。
具体的には、この符号化ベクトルに適用される「自己アテンション」は、入力列内の単語のペア間の関係を計算し、トランスフォーマーの時間的文脈を強化する。
神経活動の波は1つの皮質領域を横切るか、脳規模で複数の領域を横断するが、同様のエンコーディング原理を実装できることが示唆された。
最近の入力履歴を各瞬間に単一の空間パターンにカプセル化することで、皮質波は、トランスフォーマーで使われるのと同じ計算原理である知覚入力のシーケンスから時間的文脈を抽出することができる。
関連論文リスト
- Latent Attention for Linear Time Transformers [8.640180203900583]
双方向タスクと一方向タスクの両方に"ラッテトランスフォーマー"モデルを実装できる。
双方向タスクと一方向タスクの両方に"ラッテトランスフォーマー"モデルを実装できる。
論文 参考訳(メタデータ) (2024-02-27T13:54:48Z) - The Expressive Power of Transformers with Chain of Thought [29.839710738657203]
実際には、トランスフォーマーは「思考の連鎖」や「スクラッチパッド」を使用することで改善できる。
答えはYESであるが、増加量は中間生成量に大きく依存する。
また, 線形ステップでは, コンテクストに敏感な言語に変換器デコーダを配置することが示唆された。
論文 参考訳(メタデータ) (2023-10-11T22:35:18Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳(メタデータ) (2023-10-10T13:44:09Z) - Functional Interpolation for Relative Positions Improves Long Context
Transformers [86.12843093589]
本稿では,より長いコンテキストに変換器の一般化を改善するために,プログレッシブなFIREを用いた関数的相対的位置符号化を提案する。
理論的には、これはT5のRPE、Alibi、Kerpleなどの一般的な相対的な位置エンコーディングのいくつかを表現できる。
FIREモデルは、ゼロショット言語モデリングと長文ベンチマークの両方において、より長い文脈での一般化がより優れていることを示す。
論文 参考訳(メタデータ) (2023-10-06T17:59:11Z) - Chunk, Align, Select: A Simple Long-sequence Processing Method for
Transformers [25.86557845358799]
そこで本研究では,オフザシェルフ事前学習型トランスフォーマーにおいて,より長いシーケンス処理を実現するための簡単なフレームワークを提案する。
提案手法では,各時系列入力をチャンクのバッチに分割し,エンコーディングステップ中にインターチャンク情報をアライメントする。
我々は,変圧器のデコーダを環境とみなす効果的な隠れ選択ポリシーを学習する。
論文 参考訳(メタデータ) (2023-08-25T05:52:05Z) - Stable, Fast and Accurate: Kernelized Attention with Relative Positional
Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。
相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文 参考訳(メタデータ) (2021-06-23T17:51:26Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳(メタデータ) (2021-05-12T09:30:26Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Streaming Simultaneous Speech Translation with Augmented Memory
Transformer [29.248366441276662]
トランスフォーマーに基づくモデルは、音声翻訳タスクにおける最先端のパフォーマンスを達成した。
本稿では,拡張メモリ変換器エンコーダを備えたエンドツーエンド変換器を用いたシーケンス・ツー・シーケンスモデルを提案する。
論文 参考訳(メタデータ) (2020-10-30T18:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。