論文の概要: The Context-Ready Transformer

• arxiv url: http://arxiv.org/abs/2606.27538v1
• Date: Thu, 25 Jun 2026 20:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.312452
• Title: The Context-Ready Transformer
• Title（参考訳）: コンテキスト可読変換器
• Abstract要約: 我々は、D層トランスブロックから構築された新しいリカレントニューラルネットワークアーキテクチャである、コンテキストレディトランスを導入する。 補正ネットワークは、前の位置のブロック出力と現在のトークン埋め込みを結合し、トークンエンターは、既にコンテキスト化されたブロックを挿入する。 事前訓練された変換器は、ゼロd補正を加えることで文脈対応モデルに変換することもできる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the context-ready transformer, a new recurrent neural network architecture built from a D-layer transformer block that pre-contextualizes each token before it enters the block. During left-to-right generation, a correction network combines the previous position's block output -- a cached summary of past context -- with the current token embedding, so the tokenenters the block already contextualized rather than as a raw embedding. At sequential inference, the correction chain makes the architecture a recurrent neural network. For training, we unroll the correction process K times over the full sequence, processing all positions in parallel at each step. A pretrained transformer can also be converted to a context-ready model by adding a zero-initialized correction FFN and fine-tuning. We evaluate across widths, depths, block sizes, and two datasets, with all comparisons against standard transformers, variants, and ablations. A D=5 model beats a 12-layer transformer while generating 1.7x faster on an A100. With K=10, a single-layermodel (D=1) beats a 6-layer transformer with a 2.6x inference speedup, and sequential inference matches parallel K=10 to within 0.01 PPL. The architecture benefits most from wide representations and long contexts. On a pointer-chasing task, D=1 trained with BPTT solves all 10 composition levels, while standard transformers exhibit staircase-like depth dependence.
• Abstract（参考訳）: 我々は、ブロックに入る前に各トークンをコンテクスチャ化するD層トランスフォーマーブロックから構築された、新しいリカレントニューラルネットワークアーキテクチャであるコンテキストレディトランスフォーマーを紹介する。 左から右への生成において、補正ネットワークは、以前の位置のブロック出力(過去のコンテキストのキャッシュされた要約)と現在のトークンの埋め込みを結合するので、トークンは生の埋め込みではなく、既にコンテキスト化されたブロックを入力します。 逐次推論では、補正チェーンはアーキテクチャを再帰的なニューラルネットワークにする。 トレーニングでは、全シーケンス上で補正プロセスKをアンロールし、各ステップで全位置を並列に処理する。 事前訓練された変換器は、ゼロ初期化補正FFNと微調整を加えて文脈対応モデルに変換することもできる。 幅、深さ、ブロックサイズ、および2つのデータセットを比較し、標準トランスフォーマー、変種、アブレーションと比較した。 D=5モデルは、A100で1.7倍高速に生成しながら、12層のトランスを打ち負かす。 K=10では、単層モデル(D=1)が2.6倍の推論速度を持つ6層トランスを破り、シーケンシャル推論はK=10と平行して0.01 PPLとなる。 アーキテクチャは、幅広い表現と長いコンテキストから最も恩恵を受けます。 ポインタマッチングタスクでは、BPTTで訓練されたD=1が10の合成レベルをすべて解決し、標準変圧器は階段のような深さ依存性を示す。

関連論文リスト

• Full-bandwidth transformer [19.176565344686043]
  自己回帰変換器は、2つの軸に沿って計算する。 我々は、このチャネルをエンフラテントフィードバックで拡張するエンフルバンド幅変換器を導入する。 遅延フィードバックにより、非バーバル化された計算は、新しい深度予算でスタックに再入力できる。
  論文  参考訳（メタデータ） (2026-08-09T19:59:45Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• On Exact Bit-level Reversible Transformers Without Changing Architectures [4.282029766809805]
  トレーニングプロセスにおけるメモリ消費を減らすために、可逆的なディープニューラルネットワーク(DNN)が提案されている。 提案するBDIA-transformerはビットレベルのリバーシブルトランスであり,標準アーキテクチャを変更せずに推論を行う。
  論文  参考訳（メタデータ） (2024-07-12T08:42:58Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。