論文の概要: FBS: Modeling Native Parallel Reading inside a Transformer

• arxiv url: http://arxiv.org/abs/2601.21708v1
• Date: Thu, 29 Jan 2026 13:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.854469
• Title: FBS: Modeling Native Parallel Reading inside a Transformer
• Title（参考訳）: FBS: トランスフォーマー内でのネイティブ並列読み込みのモデリング
• Authors: Tongxi Wang,
• Abstract要約: 大規模言語モデル(LLM)は多くのタスクにまたがって優れているが、推論は依然として厳密にトークン・バイ・トークンの自己回帰によって支配されている。 我々は、Parafovea-Attention Window (PAW)、Chunk-Head (CH)、Skip-Gate (SG)を介して、因果学習可能なループをトランスフォーマーに注入するtextbfFovea-Block-Skip Transformer (FBS)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel across many tasks, yet inference is still dominated by strictly token-by-token autoregression. Existing acceleration methods largely patch this pipeline and miss core human-reading ingredients: content-adaptive foresight, chunk-structure-aware compute allocation, and train--test consistency for preview/skimming. We propose the \textbf{Fovea-Block-Skip Transformer} (FBS), which injects a causal, trainable loop into Transformers via Parafovea-Attention Window (PAW), Chunk-Head (CH), and Skip-Gate (SG). Across diverse benchmarks, FBS improves the quality-efficiency trade-off without increasing parameters, and ablations show the three modules are complementary.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのタスクにまたがって優れているが、推論は依然として厳密にトークン・バイ・トークンの自己回帰によって支配されている。 既存のアクセラレーションメソッドは、このパイプラインにパッチを当てて、コンテンツ適応型監視、チャンク構造対応の計算アロケーション、プレビュー/スキミングのためのトレイン-テスト整合性といった、中核的なヒューマン読み取りの要素を見逃している。 本稿では、Parafovea-Attention Window(PAW)、Chunk-Head(CH)、Skip-Gate(SG)を介して、因果的に訓練可能なループをトランスフォーマーに注入する「textbf{Fovea-Block-Skip Transformer} (FBS)」を提案する。 様々なベンチマークにおいて、FBSはパラメータを増やさずに品質と効率のトレードオフを改善し、3つのモジュールが相補的であることを示す。

関連論文リスト

• vLinear: A Powerful Linear Model for Multivariate Time Series Forecasting [28.587343014443576]
  vecTransは学習可能なベクトルを使って多変量相関をモデル化する軽量モジュールである。 WFMLossは効果的なプラグ・アンド・プレイの目標であり、既存の予測装置を一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-20T09:23:10Z)
• Parallel Decoder Transformer: Model-Internal Parallel Decoding with Speculative Invariance via Note Conditioning [0.0]
  textbfParallel Decoder Transformer (PDT)は,凍結事前学習モデルの推論プロセスに直接調整プリミティブを埋め込むパラメータ効率の高いアーキテクチャである。 PDTは効果的な自己補正を達成し、カバレッジ予測の精度は textbf77.8% に達し、トランク重量を変更することなく近似シリアルセマンティクスを復元する。
  論文  参考訳（メタデータ） (2025-12-10T20:19:10Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• RSF-Conv: Rotation-and-Scale Equivariant Fourier Parameterized Convolution for Retinal Vessel Segmentation [58.618797429661754]
  本稿では,網膜血管分割に特化して,回転・スケール同値なフーリエパラメータ化畳み込み(RSF-Conv)を提案する。 一般的なモジュールとして、RCF-Convはプラグイン・アンド・プレイ方式で既存のネットワークに統合できる。 RSF-Convの有効性を示すため,RSF-Conv+U-NetとRCF-Conv+Iter-Netを網膜動脈・静脈の分類に適用した。
  論文  参考訳（メタデータ） (2023-09-27T13:14:57Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
  Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。 入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
  論文  参考訳（メタデータ） (2021-05-09T03:32:48Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。