論文の概要: Full-bandwidth transformer

• arxiv url: http://arxiv.org/abs/2608.08888v1
• Date: Sun, 09 Aug 2026 19:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.987667
• Title: Full-bandwidth transformer
• Title（参考訳）: フルバンド幅トランス
• Abstract要約: 自己回帰変換器は、2つの軸に沿って計算する。 我々は、このチャネルをエンフラテントフィードバックで拡張するエンフルバンド幅変換器を導入する。 遅延フィードバックにより、非バーバル化された計算は、新しい深度予算でスタックに再入力できる。
• 参考スコア（独自算出の注目度）: 19.176565344686043
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive transformers compute along two axes: horizontally across generated tokens, and vertically through model depth. Dense attention gives each token broad horizontal access to the past, but the vertical feedback channel between decoding steps remains narrow: only the sampled token returns to the bottom of the stack, while the top-layer hidden state is discarded. We introduce the \emph{full-bandwidth transformer}, which widens this channel with \emph{latent feedback}: at each decoding step, the previous top-layer hidden state is fused with the sampled token embedding through a gated linear unit and fed back as the next input. Latent feedback lets non-verbalized computation re-enter the stack with a renewed depth budget, while preserving the standard transformer architecture, KV cache, and language-modeling objective. To train full-bandwidth transformers without losing parallel teacher forcing, we use a scheduled multi-pass objective that introduces latent feedback late in pretraining and mixes a small fraction of deeper feedback passes for stability. We train 1B-parameter full-bandwidth transformers up to 400B tokens and find that latent feedback improves validation loss, 5-shot language-model evaluation, math and coding generation, and instruction-tuned performance. With negligible per-token decoding overhead, full-bandwidth transformers match or approach standard transformers trained with roughly $1.5\times$ more tokens, and manage to produce shorter reasoning traces at equal or better accuracy.
• Abstract（参考訳）: 自己回帰変換器は、2つの軸に沿って計算する。 しかし、復号ステップ間の垂直フィードバックチャネルは狭く、サンプリングされたトークンだけがスタックの下部に返され、上位層が隠された状態が破棄される。 ここでは,このチャネルを 'emph{full-bandwidth transformer} で拡張し,各デコードステップにおいて,前の上位層隠蔽状態に,ゲート線単位に埋め込まれたサンプルトークンを融合させ,次の入力として送り返す。 遅延フィードバックにより、非言語化された計算は、標準トランスフォーマーアーキテクチャ、KVキャッシュ、言語モデリングの目的を保ちながら、新たな深度予算でスタックに再入力することができる。 並列教師の強制力を失うことなくフルバンド幅トランスフォーマーを訓練するために,事前学習の遅れに潜伏フィードバックを導入し,安定性のために少数の深いフィードバックパスを混合するマルチパス目標を用いる。 最大400Bトークンまでの1Bパラメータフルバンド幅変換器をトレーニングし、遅延フィードバックが検証損失、5ショット言語モデル評価、算術および符号化生成、命令調整性能を改善することを確認する。 無視可能な1トークン単位のデコードオーバーヘッドでは、フルバンド幅のトランスフォーマーは、約1.5\times$以上のトークンでトレーニングされた標準トランスフォーマーにマッチするか、アプローチし、より短い推論トレースを同等またはより正確に生成する。

関連論文リスト

• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• The Context-Ready Transformer [0.0]
  我々は、D層トランスブロックから構築された新しいリカレントニューラルネットワークアーキテクチャである、コンテキストレディトランスを導入する。 補正ネットワークは、前の位置のブロック出力と現在のトークン埋め込みを結合し、トークンエンターは、既にコンテキスト化されたブロックを挿入する。 事前訓練された変換器は、ゼロd補正を加えることで文脈対応モデルに変換することもできる。
  論文  参考訳（メタデータ） (2026-06-25T20:39:26Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• Block Transformer: Global-to-Local Language Modeling for Fast Inference [41.361135177431336]
  自己アテンションは、コンテキスト情報を取得するために、デコードステップ毎にメモリから取得されるすべての前のシーケンスのキー値キャッシュを必要とする。 本稿では,自己アテンションに関連する推論ボトルネックを軽減するために,階層的グローバル・ローカル・モデリングを用いて自動回帰変換を行うBlock Transformerを紹介する。 等価なパープレキシティとゼロショットタスク性能を持つバニラ変圧器と比較して,Block Transformerが10-20倍のスループットに達することを示す。
  論文  参考訳（メタデータ） (2024-06-04T17:45:26Z)
• Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers [13.355338760884583]
  本稿では,ビデオの長期依存性をエンドツーエンドに学習するためのメモリ指向の双方向変換器(MeBT)を提案する。 本手法は,部分的に観察されたパッチからビデオの全時間容積を並列に復号する。
  論文  参考訳（メタデータ） (2023-03-20T16:35:38Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。