論文の概要: The Transformer Paradigm: Dynamic Processing and a New Principle of Inference
- arxiv url: http://arxiv.org/abs/2611.17953v1
- Date: Fri, 13 Nov 2026 09:41:34 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:58.836986
- Title: The Transformer Paradigm: Dynamic Processing and a New Principle of Inference
- Title(参考訳): Transformer Paradigm:動的処理と推論の新しい原理
- Abstract要約: トランスフォーマー革命は、単に深層学習の定量的展開として十分理解されていない、と我々は主張する。
我々はトークン表現をパラメータ変換によって変換するシステムとしてTransformerを解釈する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: We argue that the Transformer revolution is not adequately understood as a merely quantitative expansion of deep learning, but as the emergence of a new paradigm based on a different principle of inference. We interpret the Transformer as a system in which token representations are transformed by parameterized transformations, or transforming concepts. During inference, some of these transformations are dynamically constructed from the current input: previously acquired transformations are first adapted and then applied. At the mechanical-structural level, this dynamic processing is realized through output-weight interconnections, whereby outputs of some networks determine the weights of others. The resulting mode of processing, which we call Sequence-level Interactive Dynamic Parallel Processing (SIDPP), provides a framework for explaining strong prompt sensitivity and opens research directions concerning interpretability, control, alternative AI architectures, neuromorphic systems, and possible biological realizations of dynamic processing.
- Abstract(参考訳): トランスフォーマー革命は、単に深層学習の定量的展開であるだけでなく、推論の異なる原理に基づく新しいパラダイムの出現であると適切に理解されている。
本稿では,トークン表現をパラメータ変換あるいは概念変換によって変換するシステムとして,Transformerを解釈する。
推論中、これらの変換のいくつかは現在の入力から動的に構築される。
機械構造レベルでは、この動的処理は出力-重みの相互接続によって実現され、あるネットワークの出力が他のネットワークの重みを決定する。
私たちがSIDPP(Sequence-level Interactive Dynamic Parallel Processing)と呼ぶ結果の処理モードは、強い迅速な感度を説明するためのフレームワークを提供し、解釈可能性、制御、代替AIアーキテクチャ、ニューロモルフィックシステム、そして動的処理の生物学的実現の可能性に関する研究の方向性を開放する。
関連論文リスト
- The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections [0.0]
我々は、Transformerが推論中にパラメータが生成されるプロンプト依存変換を構築し、適用することを論じる。
Transformerは概念を概念によって変換するシステムとして解釈される。
ヒト神経系は、SIDPPに必要なメカニズムを持っているため、SIDPPの一形態は、原則として、大脳皮質で実現される可能性があると論じる。
論文 参考訳(メタデータ) (2026-08-04T16:53:59Z) - On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions [8.192218166714422]
トランスフォーマーネットワークは幅広い応用において顕著な経験的成功を遂げてきたが、理論的な表現力は未だ十分に理解されていない。
まずトランスフォーマーネットワークによる最大化ネットワークの明示的な近似を確立し,これと同等のモデル複雑性を保ったままにしておく。
その結果、トランスフォーマーは同様の複雑性制約の下でReLUネットワークの普遍近似能力を継承する。
論文 参考訳(メタデータ) (2026-03-03T15:27:15Z) - Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。
本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。
実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
論文 参考訳(メタデータ) (2024-10-22T21:30:01Z) - Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。
実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。
分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文 参考訳(メタデータ) (2024-07-05T14:29:44Z) - Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。
動作方法や期待されるダイナミクスについてはほとんど分かっていない。
非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
論文 参考訳(メタデータ) (2024-06-11T13:29:34Z) - B-cos Alignment for Inherently Interpretable CNNs and Vision
Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。
このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。
得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文 参考訳(メタデータ) (2023-06-19T12:54:28Z) - ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。
提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。
注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
論文 参考訳(メタデータ) (2022-11-09T16:16:06Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳(メタデータ) (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。