論文の概要: Architectural Trade-offs in Small Language Models Under Compute Constraints

• arxiv url: http://arxiv.org/abs/2512.20877v1
• Date: Wed, 24 Dec 2025 01:36:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.649367
• Title: Architectural Trade-offs in Small Language Models Under Compute Constraints
• Title（参考訳）: 計算制約下における小言語モデルのアーキテクチャ的トレードオフ
• Authors: Shivraj Singh Bhatti,
• Abstract要約: 本稿では,厳密な計算制約下での小型言語モデルの体系的研究を行う。 我々は,Tny Shakespeare の文字レベルモデリングと Penn Treebank (PTB) とWikiText-2 の単語レベルモデリングについて検討した。 この結果から,注目モデルがFLOP毎の効率を小型でも上回る一方で,深度や文脈の増大が性能を低下させる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a systematic empirical study of small language models under strict compute constraints, analyzing how architectural choices and training budget interact to determine performance. Starting from a linear next-token predictor, we progressively introduce nonlinearities, self-attention, and multi-layer transformer architectures, evaluating each on character-level modeling of Tiny Shakespeare and word-level modeling of Penn Treebank (PTB) and WikiText-2. We compare models using test negative log-likelihood (NLL), parameter count, and approximate training FLOPs to characterize accuracy-efficiency trade-offs. Our results show that attention-based models dominate MLPs in per-FLOP efficiency even at small scale, while increasing depth or context without sufficient optimization can degrade performance. We further examine rotary positional embeddings (RoPE), finding that architectural techniques successful in large language models do not necessarily transfer to small-model regimes.
• Abstract（参考訳）: 本研究では,厳密な計算制約下での小型言語モデルの体系的研究を行い,アーキテクチャ選択と訓練予算の相互作用を解析して性能を判定する。 線形次トーケン予測器から、非線形性、自己アテンション、多層トランスフォーマーアーキテクチャを段階的に導入し、タイニーシェークスピアの文字レベルモデリングとPenn Treebank(PTB)とWikiText-2の単語レベルモデリングについて評価する。 我々は,NLL(Test negative log-likelihood),パラメータカウント(パラメータカウント)および近似トレーニングFLOPを用いて,精度と効率のトレードオフを特徴付けるモデルを比較する。 この結果から,FOPの効率性は小さいが,十分な最適化を伴わない深度や文脈の増大は性能を低下させる可能性が示唆された。 さらに、回転位置埋め込み(RoPE)について検討し、大規模言語モデルで成功したアーキテクチャ技術が必ずしも小型モデルに移行するとは限らないことを発見した。

関連論文リスト

• ShishuLM: Lightweight Language Model with Hybrid Decoder-MLP Architecture and Paired Weight Sharing [0.5565728870245015]
  本稿では,パラメータカウントとキーバリュー(KV)キャッシュ要求の両方を削減できる,効率的な言語モデルアーキテクチャであるShishuLMを紹介した。 以上の結果から,ShshuLMは最大25%のメモリ要求を削減し,トレーニングと推論の両方で最大40%のレイテンシ向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-10-13T04:04:54Z)
• Latent Thought Models with Variational Bayes Inference-Time Computation [52.63299874322121]
  ラテント思考モデル(LTM)は、ラテント空間における明示的な事前モデルに従う明示的なラテント思考ベクトルを包含する。 LTMは自己回帰モデルや離散拡散モデルよりも優れたサンプルおよびパラメータ効率を示す。
  論文  参考訳（メタデータ） (2025-02-03T17:50:34Z)
• Efficient Language Modeling for Low-Resource Settings with Hybrid RNN-Transformer Architectures [8.442206285783463]
  トランスフォーマーベースの言語モデルは、最近テキスト生成における活発な研究の最前線にある。 これらのモデルの進歩は、数十億のパラメータ数とペタフロップ/秒単位の計算要求によって、禁止的なトレーニングコストの価格で実現されている。 注目層をフィードフォワードと準リカレントニューラルネットワーク層に選択的に置き換えることで,低データ方式におけるモデル性能向上のためのトランスフォーマーアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2025-02-02T01:05:09Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
  本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。 複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
  論文  参考訳（メタデータ） (2024-09-05T11:49:53Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。