論文の概要: Squeezing More from Limited Data with Recursive Transformers

• arxiv url: http://arxiv.org/abs/2608.26973v1
• Date: Thu, 27 Aug 2026 11:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.369227
• Title: Squeezing More from Limited Data with Recursive Transformers
• Title（参考訳）: 再帰変換器を用いた限られたデータからの検索
• Abstract要約: 限られたデータの下で事前トレーニングを行うには、Webスケールの言語モデリングとは異なるスケーリングのビューが必要である。 本研究では,10M-100Mワードの事前学習予算と2つのコーパス,複数の下流評価について検討した。
• 参考スコア（独自算出の注目度）: 50.00473320123697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training under limited data requires a different view of scaling than web-scale language modeling. With a fixed data budget but relatively abundant compute, increasing parameter count helps only up to an optimal scale; beyond that point, models overfit and generalization worsens. We study this behavior across 10M-100M word pre-training budgets, two corpora, and multiple downstream evaluations, and find that optimal size depends strongly on both the data budget and the downstream target. We argue that standard Transformers scale down poorly to this setting, because embeddings consume a large fraction of the parameter budget and per-token computation is tied to representational capacity. To address this coupling, we study recursive Transformers, reusing a shared block across depth to scale compute, together with factorized embeddings to reduce vocabulary-map parameters. We train three recursive models and find that they outperform standard Transformers at 10M and 100M words, while remaining competitive with BabyLM Challenge 2025 winners.
• Abstract（参考訳）: 限られたデータの下で事前トレーニングを行うには、Webスケールの言語モデリングとは異なるスケーリングのビューが必要である。 固定されたデータ予算を持つが、比較的豊富な計算では、パラメータ数の増加は最適なスケールにしかならない。 本研究では,10M-100Mワードの事前学習予算と2つのコーパス,複数の下流評価を対象とし,データ予算と下流目標の両方に最適なサイズが強く依存していることを見出した。 埋め込みはパラメータの予算の大部分を消費し、トーケン毎の計算は表現能力に結びついているためである。 この結合に対処するために、再帰変換器の研究、深度をまたいだ共有ブロックの再利用、および語彙マップパラメータの削減のための分解埋め込みについて検討する。 我々は3つの再帰モデルを訓練し、標準的なトランスフォーマーを1000万語と1億語で上回り、BabyLM Challenge 2025の勝者と競争する。

関連論文リスト

• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA [38.30350849992281]
  再帰的(recursive)"言語モデルは、パフォーマンスの損失を最小限に抑えたレイヤ間でパラメータを共有する。 Recursive Transformerは、標準的な事前トレーニングされたトランスフォーマーから効率よく利用できるが、単一のユニークなレイヤブロックしか使用せず、ループ内で何度も繰り返される。 我々のモデルは、類似サイズのバニラ事前学習モデルと知識蒸留ベースラインの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T02:15:45Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Sliced Recursive Transformer [23.899076070924153]
  視覚変換器における再帰操作は、追加パラメータを伴わずにパラメータ利用を改善することができる。 我々のモデル Sliced Recursive Transformer (SReT) は、効率的な視覚変換のための様々な設計と互換性がある。
  論文  参考訳（メタデータ） (2021-11-09T17:59:14Z)
• Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers [4.899818550820576]
  シーケンス処理に先立って,レジェンダメモリ単位をベースとしたモデルを構築した。 我々の新しいアーキテクチャは10倍少ないトークンでトランスフォーマーと同じ精度を実現している。
  論文  参考訳（メタデータ） (2021-10-05T23:20:37Z)
• Escaping the Big Data Paradigm with Compact Transformers [7.697698018200631]
  適切なサイズとトークン化によって、トランスフォーマは小さなデータセット上で最先端のcnnで頭対頭で実行できることを初めて示す。 本手法はモデルサイズで柔軟であり,0.28Mのパラメータしか持たず,妥当な結果が得られる。
  論文  参考訳（メタデータ） (2021-04-12T17:58:56Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。