論文の概要: Log-Depth Recurrent Language Modeling

• arxiv url: http://arxiv.org/abs/2609.28212v1
• Date: Wed, 23 Sep 2026 14:47:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.076993
• Title: Log-Depth Recurrent Language Modeling
• Title（参考訳）: Log-Depth Recurrent Language Modeling
• Abstract要約: トランスフォーマーを用いた言語モデリングは, 計算深度や2次ランタイムが固定されているにもかかわらず, 一般的に行われている。 一方、リカレントモデルは線形深度を提供するが、並列実行はしない。
• 参考スコア（独自算出の注目度）: 3.355755379253519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language modeling using Transformers has become commonplace despite their fixed computational depth and quadratic runtime with respect to input tokens. Recurrent models on the other hand offer linear depth but no parallel execution. In this work, we extend balanced-tree recursive operators from sequence encoding to autoregressive prediction, enabling all prefix representations to be computed with logarithmic depth and linear runtime. Our experiments provide an initial characterization of this model class, demonstrating robust length extrapolation and performance approaching that of ALiBi-based Transformers, highlighting its potential as an alternative architecture for language modeling.
• Abstract（参考訳）: Transformerを用いた言語モデリングは、入力トークンに関して、その固定された計算深さと二次ランタイムにもかかわらず、一般的になっている。 一方、リカレントモデルは線形深度を提供するが、並列実行はしない。 本研究は,木再帰演算子をシーケンスエンコーディングから自己回帰予測に拡張し,全てのプレフィックス表現を対数深さと線形実行で計算できるようにする。 実験では,ALiBiをベースとしたトランスフォーマーに頑健な長さ外挿と性能を付与し,言語モデリングの代替アーキテクチャとしての可能性を強調した。

関連論文リスト

• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence [113.48450265178953]
  既存の事前学習された非再帰言語モデルを深度再帰モデルに変換する方法について検討する。 学習過程におけるモデルの有効深度を高めるために繰り返しのカリキュラムを用いることで,全体の計算コストを削減しつつ,性能を維持できることが判明した。
  論文  参考訳（メタデータ） (2025-11-10T18:43:07Z)
• Learning Modular Exponentiation with Transformers [0.38887448816036313]
  4層エンコーダ・デコーダ・トランスモデルをトレーニングし、モジュラー指数化を行う。 相互学習は高い性能向上をもたらし、関連するモジュラーを突如に一般化する。 これらの結果から,変圧器モデルは特殊計算回路を用いてモジュラー演算を学習することが示唆された。
  論文  参考訳（メタデータ） (2025-06-30T10:00:44Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Boolformer: Symbolic Regression of Logic Functions with Transformers [13.578050113886016]
  本稿では,ブール関数の終端から終端へのシンボリックレグレッションをトレーニングした,トランスフォーマーベースのモデルであるBoolformerを紹介する。 完全真理表を考えると、学習中に見られない複素関数のコンパクトな公式を予測できることが示される。 我々は、Boolformerを現実世界のバイナリ分類データセットの広いセットで評価し、古典的な機械学習手法に代わる解釈可能な代替手段としての可能性を示した。
  論文  参考訳（メタデータ） (2023-09-21T16:11:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。