論文の概要: FBS: Modeling Native Parallel Reading inside a Transformer

• arxiv url: http://arxiv.org/abs/2601.21708v1
• Date: Thu, 29 Jan 2026 13:39:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.854469
• Title: FBS: Modeling Native Parallel Reading inside a Transformer
• Title（参考訳）: FBS: トランスフォーマー内でのネイティブ並列読み込みのモデリング
• Abstract要約: 大規模言語モデル(LLM)は多くのタスクにまたがって優れているが、推論は依然として厳密にトークン・バイ・トークンの自己回帰によって支配されている。 我々は、Parafovea-Attention Window (PAW)、Chunk-Head (CH)、Skip-Gate (SG)を介して、因果学習可能なループをトランスフォーマーに注入するtextbfFovea-Block-Skip Transformer (FBS)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel across many tasks, yet inference is still dominated by strictly token-by-token autoregression. Existing acceleration methods largely patch this pipeline and miss core human-reading ingredients: content-adaptive foresight, chunk-structure-aware compute allocation, and train--test consistency for preview/skimming. We propose the \textbf{Fovea-Block-Skip Transformer} (FBS), which injects a causal, trainable loop into Transformers via Parafovea-Attention Window (PAW), Chunk-Head (CH), and Skip-Gate (SG). Across diverse benchmarks, FBS improves the quality-efficiency trade-off without increasing parameters, and ablations show the three modules are complementary.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くのタスクにまたがって優れているが、推論は依然として厳密にトークン・バイ・トークンの自己回帰によって支配されている。 既存のアクセラレーションメソッドは、このパイプラインにパッチを当てて、コンテンツ適応型監視、チャンク構造対応の計算アロケーション、プレビュー/スキミングのためのトレイン-テスト整合性といった、中核的なヒューマン読み取りの要素を見逃している。 本稿では、Parafovea-Attention Window(PAW)、Chunk-Head(CH)、Skip-Gate(SG)を介して、因果的に訓練可能なループをトランスフォーマーに注入する「textbf{Fovea-Block-Skip Transformer} (FBS)」を提案する。 様々なベンチマークにおいて、FBSはパラメータを増やさずに品質と効率のトレードオフを改善し、3つのモジュールが相補的であることを示す。

関連論文リスト

• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• PCT-Prompt: A Prompt-Guided Transformer Framework for Dense Prediction Tasks in Point Clouds [5.568628403034062]
  PCT-Promptは、高密度予測タスクのパフォーマンスを向上させるために、プロンプト誘導機能ブランチを導入することで、標準トランスフォーマーを強化する。 我々は,PCT-Promptが高密度予測タスクへの標準変換器の適応性を著しく向上し,実世界のシナリオにおいて高い性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-08-17T08:01:33Z)
• Elicitation without Backpropagation: Steering Model Behavior by Optimizing the Latent Posterior [4.347699959341557]
  textbfPosterior Prefix Tuning (PPT)を導入する。 BFTの場合、潜伏した後部を通る誘導目標因子と、この目的の勾配は、前者単独のサンプルから推定できる。
  論文  参考訳（メタデータ） (2026-07-21T07:34:18Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• vLinear: A Powerful Linear Model for Multivariate Time Series Forecasting [28.587343014443576]
  vecTransは学習可能なベクトルを使って多変量相関をモデル化する軽量モジュールである。 WFMLossは効果的なプラグ・アンド・プレイの目標であり、既存の予測装置を一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-20T09:23:10Z)
• Parallel Decoder Transformer: Model-Internal Parallel Decoding with Speculative Invariance via Note Conditioning [0.0]
  textbfParallel Decoder Transformer (PDT)は,凍結事前学習モデルの推論プロセスに直接調整プリミティブを埋め込むパラメータ効率の高いアーキテクチャである。 PDTは効果的な自己補正を達成し、カバレッジ予測の精度は textbf77.8% に達し、トランク重量を変更することなく近似シリアルセマンティクスを復元する。
  論文  参考訳（メタデータ） (2025-12-10T20:19:10Z)
• OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender [32.265739328468584]
  OneTransは、ユーザー・ビヘイビア・シーケンス・モデリングと機能相互作用を同時に実行する統合トランスフォーマー・バックボーンである。 オンラインA/Bテストでは、OneTransはパラメータの増加とともに効率よくスケールし、強いベースラインを一貫して上回り、ユーザ当たりのGMVは5.68%上昇する。
  論文  参考訳（メタデータ） (2025-10-30T03:30:12Z)
• BATR-FST: Bi-Level Adaptive Token Refinement for Few-Shot Transformers [2.5680214354539803]
  半ショット変換器(BATR-FST)の両レベル適応型トケリファインメントを提案する。 BATR-FSTはトークン表現を徐々に改善し、数ショット分類のための頑健な帰納バイアスを維持している。 1ショットと5ショットの両方のシナリオで優れた結果が得られ、トランスフォーマーによる数ショットの分類が改善される。
  論文  参考訳（メタデータ） (2025-09-16T07:33:21Z)
• Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
  そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。 MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。 MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-09T08:50:18Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• RSF-Conv: Rotation-and-Scale Equivariant Fourier Parameterized Convolution for Retinal Vessel Segmentation [58.618797429661754]
  本稿では,網膜血管分割に特化して,回転・スケール同値なフーリエパラメータ化畳み込み(RSF-Conv)を提案する。 一般的なモジュールとして、RCF-Convはプラグイン・アンド・プレイ方式で既存のネットワークに統合できる。 RSF-Convの有効性を示すため,RSF-Conv+U-NetとRCF-Conv+Iter-Netを網膜動脈・静脈の分類に適用した。
  論文  参考訳（メタデータ） (2023-09-27T13:14:57Z)
• TranSFormer: Slow-Fast Transformer for Machine Translation [52.12212173775029]
  本稿では,TrantextbfSFormerと呼ばれる2ストリーム学習モデルを提案する。 我々のTranSFormerは、複数の機械翻訳ベンチマークにおいて、BLEUの一貫性のある改善(BLEU点よりも大きい)を示す。
  論文  参考訳（メタデータ） (2023-05-26T14:37:38Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
  Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。 入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
  論文  参考訳（メタデータ） (2021-05-09T03:32:48Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。