論文の概要: The Transformer Revolution, Part 1: Dynamic Processing through Output- Weight Interconnections
- arxiv url: http://arxiv.org/abs/2608.03921v1
- Date: Tue, 04 Aug 2026 16:53:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.286183
- Title: The Transformer Revolution, Part 1: Dynamic Processing through Output- Weight Interconnections
- Title（参考訳）: 変圧器革命 その1:出力-重みの相互接続による動的処理
- Abstract要約: 我々は、Transformerが推論中にパラメータが生成されるプロンプト依存変換を構築し、適用することを論じる。
Transformerは概念を概念によって変換するシステムとして解釈される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper offers a new interpretation of the Transformer during inference. Against the "stochastic parrot" view that large language models merely reproduce statistical regularities learned in training, we argue that Transformers construct and apply prompt-dependent transformations whose parameters are generated during inference. We call this form of computation SIDPP: Sequence-level Interactive Dynamic Parallel Processing. The Transformer is interpreted as a system that transforms concepts by means of concepts. Token vectors are the concepts to be transformed; parameterized transformations defined by matrices and vectors are the transforming concepts. These may be static, when fixed through training, or dynamic, when generated from the input sequence. Mechanically, they correspond to groups of simple neural networks. The Transformer's architectural novelty lies in output-weight interconnections, through which the outputs of some networks determine the weights of others, alongside ordinary output-input interconnections. By means of these interconnections, the system constructs transformations from the prompt and uses them to modify token representations. The contribution of dynamic processing grows with prompt length and may equal or exceed that of static processing, a phenomenon we call strong prompt sensitivity. This account bears on interpretability, predictability, control, and the design of smaller, more sustainable systems. Finally, since the human neural system possesses the mechanisms required to implement SIDPP, we argue that a form of SIDPP may, in principle, be neurally realized in the cerebral cortex. We therefore conjecture that human language processing may itself be a form of SIDPP produced by a functional architecture relevantly similar to that of the Transformer.
- Abstract（参考訳）: 本稿では,推論中にトランスフォーマーを新たに解釈する。
大規模言語モデルは、訓練で学んだ統計的規則性を単に再現するに過ぎないという「確率論的オウム」の見方に対して、トランスフォーマーは推論中にパラメータが生成されるプロンプト依存変換を構築し、適用する。
このような計算形式をSIDPP(Sequence-level Interactive Dynamic Parallel Processing)と呼ぶ。
Transformerは概念を概念によって変換するシステムとして解釈される。
トークンベクトルは変換される概念であり、行列とベクトルによって定義されるパラメータ化された変換は変換される概念である。
これらは、トレーニングによって固定された場合、あるいは入力シーケンスから生成された場合、静的である。
機械的には、単純なニューラルネットワークのグループに対応している。
トランスフォーマーのアーキテクチャ上の斬新さは出力と出力の相互接続にあり、あるネットワークの出力が通常の出力と入力の相互接続と共に他のネットワークの重みを決定する。
これらの相互接続により、システムはプロンプトから変換を構築し、トークン表現の修正に使用する。
動的処理の寄与は、即時長とともに増大し、静的処理と同程度あるいは超過する可能性がある。
この説明は、解釈可能性、予測可能性、制御、より小さく持続可能なシステムの設計に関するものである。
最後に、人間の神経系は、SIDPPを実装するのに必要なメカニズムを持っているので、SIDPPの一形態は、原則として、大脳皮質で神経的に実現される可能性があると論じる。
したがって、人間の言語処理自体がトランスフォーマーに類似した機能的アーキテクチャによって生成されるSIDPPの形式であると推測する。
関連論文リスト
- On the Expressive Power of Transformers [0.8594140167290097]
回路複雑性は、変圧器の表現力を分析するために計算複雑性の「正しい」分岐として現れた。
本稿では,回路の複雑度から概念と手法を用いて,変換器の表現力を表す選択結果の概要を示す。
論文 参考訳（メタデータ） (2026-08-13T00:12:15Z) - Adaptive inference and function vectors in deep transformers [6.568378556428861]
平均場相互作用系として深部変圧器の理論を導入する。
このようなシステムでは、内部状態表現を利用して潜在コンテキスト変数を推論できることが示される。
文脈内回帰タスクでは、この理論は非ガウス的、潜在文脈変数の階層構造と変圧器深さの間の非自明な関係を予測している。
論文 参考訳（メタデータ） (2026-06-15T13:30:49Z) - Converting Transformers into DGNNs Form [3.7468283401703797]
ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。
Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。
我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
論文 参考訳（メタデータ） (2025-02-01T22:44:46Z) - Transformers are Efficient Compilers, Provably [11.459397066286822]
トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。
本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。
代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
論文 参考訳（メタデータ） (2024-10-07T20:31:13Z) - Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。
実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。
分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文 参考訳（メタデータ） (2024-07-05T14:29:44Z) - Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。
CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-13T16:42:06Z) - B-cos Alignment for Inherently Interpretable CNNs and Vision
Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。
このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。
得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文 参考訳（メタデータ） (2023-06-19T12:54:28Z) - ParGAN: Learning Real Parametrizable Transformations [50.51405390150066]
本稿では、画像変換学習のためのサイクル一貫性GANフレームワークの一般化であるParGANを提案する。
提案したジェネレータは、画像と変換のパラメトリゼーションの両方を入力とする。
注釈付きパラメトリゼーションを伴わない不整合画像領域では、このフレームワークはスムーズな生成が可能であり、同時に複数の変換を学習できることを示す。
論文 参考訳（メタデータ） (2022-11-09T16:16:06Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2021-12-31T04:37:11Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳（メタデータ） (2021-06-13T13:04:46Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。