論文の概要: A Scaled-Up Empirical Study of Syntactic Language Models

• arxiv url: http://arxiv.org/abs/2610.16837v1
• Date: Mon, 12 Oct 2026 14:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.383719
• Title: A Scaled-Up Empirical Study of Syntactic Language Models
• Title（参考訳）: 構文言語モデルの大規模化に関する実証的研究
• Abstract要約: 標準的な因果的注意力を持つSLMは、下流および統語的ベンチマークにおいて、構造マスクの変種を超えていることを示す。 最高性能のSLM変種は、計算に適合しない非構造ベースラインに対して明らかな優位性を示しておらず、SLMはスケールとの競争力の低下を示唆している。
• 参考スコア（独自算出の注目度）: 38.249477016454065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Syntactic language models (SLMs) that generate sentences along with their syntactic tree structures have shown promise in both syntactic generalization and downstream tasks. Prior studies, however, have mostly evaluated smaller models trained on less pretraining data and tested on narrower task suites. In addition, the design space of tree linearization and attention masks remains underexplored. We conduct a large-scale empirical study of 12 controlled configurations---one terminal baseline and 11 SLM variants spanning different linearizations and masks---at scales up to 1B parameters and 100B training tokens, evaluated across 11 downstream tasks and two syntactic benchmarks. The experimental results show that SLMs with standard causal attention match or exceed structural-mask variants across downstream and syntactic benchmarks. They require no architectural modifications and remain compatible with FlashAttention. We also observe that when scaling up to the 1B-parameter scale, the top-performing SLM variant no longer shows a clear advantage over a compute-matched non-structural baseline, suggesting that SLMs may become less competitive with scale. Our code is available at https://github.com/qlwpc/TG-Interpolation.
• Abstract（参考訳）: 構文木構造とともに文を生成する構文言語モデル(SLM)は、構文一般化と下流タスクの両方において有望であることを示す。 しかし、以前の研究では、より少ない事前学習データに基づいて訓練されたより小さなモデルを評価し、より狭いタスクスイートでテストした。 また,木質リニアライゼーションやアテンションマスクの設計空間についても検討が続けられている。 1つの端末ベースラインと11のSLM変種が異なる線形化とマスクにまたがる12の制御された構成について、大規模な実証的研究を行い、11の下流タスクと2つの統語的ベンチマークで評価された1つのパラメータと100Bのトレーニングトークンについて検討した。 実験結果から,標準的な因果的注意力を持つSLMは,下流および統語的ベンチマークにおいて,構造マスクの変種を超えていることが明らかとなった。 アーキテクチャの変更は不要で、FlashAttentionと互換性がある。 また, 1B パラメータスケールまでスケールアップする場合, SLM の最大性能は, 計算に適合しない非構造的ベースラインに対して明らかな優位性を示しなくなり, SLM のスケールに対する競争力が低下する可能性が示唆された。 私たちのコードはhttps://github.com/qlwpc/TG-Interpolation.comで公開されています。

関連論文リスト

• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• EmbGen: Teaching with Reassembled Corpora [0.300988853836121]
  コーパスをエンティティ記述ペアに分解する合成データ生成パイプラインであるEmbGenを紹介する。 EmbGen を EntiGraph,InstructLab,Knowledge-Instruct に対して,多種多様な意味的不均一性のデータセット上で評価する。
  論文  参考訳（メタデータ） (2026-05-19T05:40:12Z)
• Cluster Workload Allocation: Semantic Soft Affinity Using Natural Language Processing [0.0]
  本稿では,自然言語処理を用いたクラスタシステムのためのセマンティックな意図駆動型スケジューリングパラダイムを提案する。 このシステムは、スケジューラ拡張子を介して統合されたLarge Language Cluster Model (LLM)を使用して、ソフトアフィニティの好みに対する自然言語アロケーションヒントアノテーションを解釈する。
  論文  参考訳（メタデータ） (2026-01-14T08:36:21Z)
• Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry [0.0]
  本研究では,SLERPモデルがタスク固有適応によって導入された超特殊化を緩和する程度について検討する。 モデルの4つのファミリを比較する: ゼロから訓練された非LLMエンコーダ、パラメータ係数法(LoRA)に適応したLLMベースのエンコーダ、LoRAを用いたLLMベースのエンコーダ、ベースウェイトにマージしたモデルスープ、および同じLoRA適応LLMはチェックポイントやステージをまたいだSLERPを用いてマージされる。
  論文  参考訳（メタデータ） (2025-11-16T17:28:06Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Sneaking Syntax into Transformer Language Models with Tree Regularization [33.74552367356904]
  構文的帰納バイアスの導入は、トランスフォーマー言語モデルにおけるより堅牢でデータ効率のよい学習を解放する可能性がある。 ここでは,銀パースからの括弧決定を微分可能性制約の集合に変換する補助的損失関数であるTreeRegを紹介する。 TreeRegは標準のLM目標とシームレスに統合され、アーキテクチャの変更は不要である。
  論文  参考訳（メタデータ） (2024-11-28T03:27:48Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。