論文の概要: Comparing Transformers and Hybrid Models at the Token Level

• arxiv url: http://arxiv.org/abs/2606.20936v1
• Date: Thu, 18 Jun 2026 20:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 11:46:31.947698
• Title: Comparing Transformers and Hybrid Models at the Token Level
• Title（参考訳）: トーケンレベルでの変圧器とハイブリッドモデルの比較
• Authors: Yanhong Li, William Merrill,
• Abstract要約: 一致した変圧器とハイブリッドの損失を同じ診断の下で同じ目標トークンで比較する。 ハイブリッドは、ほとんどのタグファミリーで損失が低いが、利益は均一ではない。 散文、コード、マークアップ全体で、ハイブリッドの損失優位性は、対応するクローゼットよりもオープンプレフィックスの方が大きい。
• 参考スコア（独自算出の注目度）: 21.059449017833263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid language models that mix attention and recurrent layers have shown promise: theoretically, recurrent layers ameliorate the limitations of pure transformers on state tracking, and empirically, hybrids can outperform pure transformers in loss and downstream evaluations \citep{waleffe2024empirical,merrill2026olmohybrid}. Yet it remains unclear which data or capabilities drive these gains, and to what degree they reflect the theoretical advantages motivating hybrid models. We address this question using the open weights from Olmo 3 \citep{olmo2025olmo3} and Olmo Hybrid \citep{merrill2026olmohybrid}: we compare the loss of a matched transformer and hybrid at the same target tokens under the same prefixes, stratifying the results by natural token tags, copy features, delimiter structure, and controlled synthetic probes. The hybrid has lower loss on most tag families, but the gains are not uniform: they are largest for open-class content words and smaller for many closed-class function words. Across prose, code, and markup, the hybrid's loss advantage is larger on opening delimiters than on the corresponding closing delimiters, and nearly vanishes on repeated $n$-grams. Synthetic probes show the same split: the hybrid is favored on pronoun-memory and entity-tracking tasks, whereas the transformer is favored on bracket-matching tasks that require choosing closing delimiters. These patterns suggest that the recurrent layers in hybrids improve predictions that leverage the semantic state of a document, whereas attention helps on tokens predictable by $n$-gram copying or syntactic bracket matching. We conclude with proof-of-concept filtered evaluations showing how token-level decompositions can sharpen pretraining diagnostics for hybrid architectures.
• Abstract（参考訳）: 理論的には、リカレントレイヤはステートトラッキングにおける純粋なトランスフォーマーの制限を改善し、実証的には、ハイブリッドは損失や下流の評価において純粋なトランスフォーマーより優れている。 しかし、どのようなデータや能力がこれらの利益を導くのか、ハイブリッドモデルを動機付ける理論上の利点をどの程度反映しているかは、まだ不明である。 我々は,Olmo 3 \citep{olmo2025olmo3} とOlmo Hybrid \citep{merrill2026olmohybrid} のオープンウェイトを用いてこの問題に対処する: 一致したトランスフォーマーとハイブリッドの損失を同じ接頭辞の下で同じターゲットトークンで比較し,結果を自然なトークンタグ,コピー特徴,デリミタ構造,制御された合成プローブで階層化する。 このハイブリッドは、ほとんどのタグファミリでは損失が少ないが、利益は均一ではなく、オープンクラスのコンテンツワードでは最大であり、多くのクローズドクラスの関数ワードではより小さい。 散文、コード、マークアップ全体にわたって、ハイブリッドの損失優位性は、対応する閉鎖区切り文字よりも開放区切り文字の方が大きく、繰り返し$n$-gramでほぼ消滅する。 ハイブリッドは代名詞記憶タスクとエンティティ追跡タスクで好まれるのに対し、トランスフォーマーはクローズデミッタの選択を必要とするブラケットマッチングタスクで好まれる。 これらのパターンは、ハイブリット内の繰り返しレイヤがドキュメントの意味的状態を活用する予測を改善することを示唆する一方で、$n$-gramのコピーや構文的ブラケットマッチングによって予測可能なトークンに注意を向ける。 トークンレベルの分解がハイブリッドアーキテクチャの事前学習診断をいかに研ぎ澄めるかを示す。

関連論文リスト

• Component-Aware Self-Speculative Decoding in Hybrid Language Models [0.0]
  投機的復号化は、高速モデルで候補トークンを起草することで自己回帰推論を加速する。 本稿では,SSM/リニアアテンションサブグラフをゼロコスト内部ドラフトとして分離する,コンポーネント認識型自己投機的デコーディングを提案する。 汎用的なLayerSkipはコンポーネント認識戦略よりも12倍高い受け入れ率が得られることを示す。
  論文  参考訳（メタデータ） (2026-05-01T21:25:25Z)
• Olmo Hybrid: From Theory to Practice and Back [112.70006263561073]
  ハイブリッドモデルは, 変圧器と線形RNNの表現性を継承するだけでなく, 両方以上のタスクを表現できることを示す。 また,Olmo HybridはOlmo 3よりも高い性能を示し,プレトレーニングおよび中間トレーニングの評価を行った。 この結果から,注目層と繰り返し層を混合したハイブリッドモデルが,言語モデリングパラダイムの強力な拡張となることが示唆された。
  論文  参考訳（メタデータ） (2026-04-03T20:36:34Z)
• A Boltzmann-machine-enhanced Transformer For DNA Sequence Classification [0.8711791966428426]
  DNA配列分類のためのボルツマン機械エンハンストランスを提案する。 このモデルは、遅延接続を表すために構造化されたバイナリゲーティング変数を導入し、クエリキー接続で制約する。 トレーニング中、分類とエネルギー損失を共同で最適化し、正確な予測を行うようモデルに促す。
  論文  参考訳（メタデータ） (2026-03-27T14:32:37Z)
• Expressivity-Efficiency Tradeoffs for Hybrid Sequence Models [50.45915413315706]
  非ハイブリッドモデルに対する基本的な制限の存在を証明する。 我々は,これらの課題を確実に解決する,小さなサイズと作業メモリのハイブリッドモデルを構築した。 さらに,ハイブリッドモデルが非ハイブリッドモデルよりも長大化および分布外堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2026-03-09T19:20:01Z)
• Stateful Token Reduction for Long-Video Hybrid VLMs [69.6930118088911]
  ハイブリッドビデオビジョン言語モデル(VLM)のクエリ条件付きトークン削減について検討する。 本稿では,低段階から高段階の減算スケジュールと,注意とマンバブロックの両ブロックを対象とした言語認識スコアリング機構を提案する。 積極的圧縮条件下では,本手法はテスト時にほぼベースライン精度で精度の高いプリフィルング・スピードアップを実現する。
  論文  参考訳（メタデータ） (2026-02-27T08:11:06Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• Manifold-Preserving Transformers are Effective for Short-Long Range Encoding [39.14128923434994]
  マルチヘッドセルフアテンションベースのトランスフォーマーは、異なる学習タスクにおいて有望であることを示す。 本研究では,一対のトークン間の層間距離保存を理論的に保証するエンコーダモデルTransJectを提案する。
  論文  参考訳（メタデータ） (2023-10-22T06:58:28Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。