論文の概要: Looped GPT-BERT: Trading Parameters for Computation in Small Language Modeling

• arxiv url: http://arxiv.org/abs/2609.09691v1
• Date: Wed, 09 Sep 2026 04:14:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.896221
• Title: Looped GPT-BERT: Trading Parameters for Computation in Small Language Modeling
• Title（参考訳）: ループ型GPT-BERT:小言語モデリングにおける計算のためのトレーディングパラメータ
• Abstract要約: 我々は,GPT-BERTのマスク付き次トーケンと因果言語モデリング目的と深度パラメータ共有を組み合わせた,BabyLM 2026 Strict- Smallセッティングにおけるループ型GPT-BERTについて検討した。 我々は、7.48Mワード以前の英単語コーパスをトレーニングし、客観比、非ループ型およびループ型アーキテクチャ、ループ数を比較した。 BabyLM 2026のリーダーボードでは、総平均は35.42、NLP平均は48.48と報告されている。
• 参考スコア（独自算出の注目度）: 6.938321637054074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When training data are limited, increasing parameter count is not the only way to improve language-model performance. A small parameter set, when repeatedly applied, can also deliver comparable performance. We study Looped GPT-BERT in the BabyLM 2026 Strict-small setting, combining GPT-BERT's masked next-token and causal language-modeling objectives with depth-wise parameter sharing. We train on a preprocessed 7.48M-word English corpus and compare objective ratios, non-looped and looped architectures, and loop counts. Our final $4\times12$ model uses four physical layers for twelve recurrent traversals and contains 12.18M parameters. The BabyLM 2026 leaderboard reports an Overall Average of 35.42 and an NLP Average of 48.48. Compared with public BabyLM 10M Strict-small GPT-2 and GPT-BERT baselines, it achieves comparable performance on selected linguistic and downstream metrics, including BLiMP and GLUE, with fewer parameters. The loop ablations show that additional recurrent computation can improve training and preserve strong performance on selected linguistic tasks, whereas poorer performance on other tasks may reveal an inherent limitation of the looped design: using only a few physical layers restricts the model's representational space.
• Abstract（参考訳）: トレーニングデータに制限がある場合、パラメータ数が増加することが言語モデルの性能を改善する唯一の方法ではない。 小さなパラメータセットが繰り返し適用されると、同等のパフォーマンスを提供できる。 我々は,GPT-BERTのマスク付き次トーケンと因果言語モデリング目的と深度パラメータ共有を組み合わせた,BabyLM 2026 Strict- Smallセッティングにおけるループ型GPT-BERTについて検討した。 我々は、7.48Mワードの英単語コーパスを事前処理し、目的比、非ループ型およびループ型アーキテクチャ、ループ数を比較した。 最後の$4\times12$モデルは、4つの物理層を使用して12の繰り返しトラバーサルを生成し、12.18Mパラメータを含む。 BabyLM 2026のリーダーボードでは、総平均は35.42、NLP平均は48.48と報告されている。 パブリックなBabyLM 10M Strict-small GPT-2 や GPT-BERT のベースラインと比較すると,BLiMP や GLUE など,選択された言語的および下流的メトリクスに対して,パラメータが少なく,同等のパフォーマンスを実現している。 ループの短縮は、追加の繰り返し計算が訓練を改善し、選択された言語タスクの強い性能を維持することを示し、一方他のタスクの貧弱な性能はループ設計の本質的な制限を明らかにしている。

関連論文リスト

• Efficient Multilingual Neural Machine Translation via Corpus-Driven Vocabulary Pruning: An English-Arabic Case Study [0.19921702137386235]
  本稿では,MNMTモデルに対する語彙プルーニング手法と微調整プロトコルを併用した汎用最適化フレームワークを提案する。 提案手法は3つのモデル(M2M100, NLLB-200, mBART-50)を英語とアラビア語のペア上で評価する。 その結果、最適化された多言語モデルでは、専用バイリンガルベースラインの性能に適合または超えることができることがわかった。
  論文  参考訳（メタデータ） (2026-08-04T11:17:54Z)
• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• BESA: Pruning Large Language Models with Blockwise Parameter-Efficient Sparsity Allocation [54.28841287750586]
  大規模言語モデル(LLM)は、テキスト要約、テキスト質問応答など、様々なタスクにおいて優れたパフォーマンスを示してきた。 SparseGPTやWandaといった既存のソリューションは、重み付けによってこの問題を緩和しようと試みている。 本稿では,ブロックワイド再構成損失を適用して,ブロックワイドパラメータ効率の空間割当(BESA)と呼ばれる新しいLCMプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T12:44:15Z)
• Large Language Models as Zero-shot Dialogue State Tracker through Function Calling [42.00097476584174]
  本稿では,大言語モデル(LLM)を用いた対話状態追跡の関数呼び出しによる解法を提案する。 この方法はゼロショットDSTを改善し、広範囲のデータ収集やモデルチューニングなしに多様なドメインに適応できる。 提案手法は,オープン・ソースとプロプライエタリ・LLMの両面において,極めて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-02-16T06:13:18Z)
• Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation [50.00235162432848]
  我々は22Kパラレル文と12Mパラメータしか持たないALMAモデルを訓練する。 ALMA-Rと呼ばれる結果のモデルは、WMTコンテストの勝者とGPT-4のパフォーマンスと一致または上回ることができる。
  論文  参考訳（メタデータ） (2024-01-16T15:04:51Z)
• Text Alignment Is An Efficient Unified Model for Massive NLP Tasks [24.069447197357164]
  次単語予測は、多くのNLPタスクの効率的な定式化ではないことが多い。 テキストアライメントは、幅広い重要なタスクに対して効率的な統一モデルとして提案する。 私たちのモデルは、より小さなモデルサイズで同等か、あるいはさらに優れたパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2023-07-06T02:28:31Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• Effects of sub-word segmentation on performance of transformer language models [0.628122931748758]
  統計的セグメンテーションアルゴリズムBPEと形態素セグメンテーションのための2つの教師なしアルゴリズムを用いて訓練されたGPTモデルとBERTモデルを比較した。 形態的セグメンテーションによるトレーニングでは,1は低いパープレキシティを実現し,2はトレーニング時間でより効率的に収束し,3は下流タスクで同等あるいはより良い評価スコアを得る。
  論文  参考訳（メタデータ） (2023-05-09T14:30:29Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)
• Analyzing Bagging Methods for Language Models [0.5161531917413708]
  我々は,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズで大まかに等価なタグ付きアンサンブルを比較した。 我々のアンサンブル法は、少なくとも1つのLMベースラインとほぼ同等である。
  論文  参考訳（メタデータ） (2022-07-19T06:30:37Z)
• Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
  命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
  論文  参考訳（メタデータ） (2021-09-03T17:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。