論文の概要: Telescopic Language Models

• arxiv url: http://arxiv.org/abs/2609.35769v1
• Date: Mon, 28 Sep 2026 17:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:03:47.473212
• Title: Telescopic Language Models
• Title（参考訳）: テレスコープ言語モデル
• Abstract要約: 我々は、全アンカーでプレフィックス監督によって監督されるネスト容量変換器を訓練する。 ステップごとにフォワードバックのパスが2つあり、アーキテクチャの変更はなく、推論に余分なこともありません。 2Mプロキシスイート(20B FineWeb-Eduトークン、すべてのメソッドで同一のデータストリーム)では、単一のTLM実行はその20層プレフィックスの1つで有効な言語モデルである。
• 参考スコア（独自算出の注目度）: 5.159305654461697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One deployed language model must often serve many compute budgets, yet serving each budget still means a separate training or compression run per point. We train a Telescopic Language Model (TLM) to be that continuum: a nested-capacity Transformer supervised by stochastic prefix supervision with a full anchor. At every step, one randomly truncated prefix of the capacity axis is trained against the full next-token target, alongside one full-capacity pass, so the trained artifact is a valid language model at every depth. Two forward-backward passes per step, no architectural change, nothing extra at inference. Fixed-exit suites such as Matryoshka Language Model Suites (MLMS) occupy one point in this design space, and the point has a cost: supervising only a few fixed exits leaves the nested model at chance level everywhere else (perplexity 10^2-10^5 in our baselines). On a 200M proxy suite (20B FineWeb-Edu tokens, identical data stream for all methods), a single TLM run is a valid language model at every one of its twenty layer prefixes, in perplexity and on perplexity-sensitive downstream tasks, reducing the area under the quality-budget curve by 43-44% relative to the fixed-exit suites while matching them at full capacity, at ~12% lower GPU cost per run. The prefix sampling density is a dial: concentrating it on a few depths recovers fixed-exit quality there at the price of the continuum, so the operating points become a training-time choice rather than an architectural one. These results indicate that the training objective, not the nesting itself, is what makes a model elastic.
• Abstract（参考訳）: 1つのデプロイされた言語モデルは、しばしば多くの計算予算を提供する必要があるが、各予算は、いまだに1ポイント当たりの個別のトレーニングまたは圧縮実行を意味する。 我々は,この連続体としてテレスコープ言語モデル (TLM) を訓練する。 任意のステップにおいて、キャパシティ軸のランダムに切り詰められた1つのプレフィックスは、1つのフルキャパシティパスと共に、全次トーケンターゲットに対してトレーニングされるため、トレーニングされたアーティファクトは、すべての深さで有効な言語モデルである。 ステップごとにフォワードバックのパスが2つあり、アーキテクチャの変更はなく、推論に余分なこともありません。 Matryoshka Language Model Suites (MLMS)のような固定外付けスイートはこのデザイン空間の1つのポイントを占めており、その点にはコストがある。 200Mプロキシスイート(20B FineWeb-Eduトークン、すべてのメソッドで同一のデータストリーム)では、単一のTLMランは、その20層プレフィックスの1つ、複雑度と複雑度に敏感な下流タスクにおいて有効な言語モデルである。 プレフィックスサンプリング密度はダイアルであり、いくつかの深さに集中すると連続体価格で固定外付け品質が回復するので、運用ポイントはアーキテクチャよりも訓練時間選択となる。 これらの結果は、ネスト自体ではなくトレーニング目標がモデルを弾力的にしていることを示している。

関連論文リスト

• URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining [1.185706452828542]
  BabyLMの課題は、発達的に評価可能な子スケールのデータから、モデルがどの程度の言語を学習できるかを測定することである。 本稿では,言語モデリングに並列化された階層型コネクトームスパイキング状態空間モデルを適用するURCHINを提案する。 3つのBabyLMトラック(Strict-100M、Strict-Small、Multilingual)にまたがって、URCHINは生物学的に信頼性が高く、効率的で、直接デプロイ可能な参照ポイントを提供する。
  論文  参考訳（メタデータ） (2026-09-12T12:06:01Z)
• Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs [36.805962131025694]
  我々は, モデルファミリーの両軸をまたいで蒸留を行うためのフレームワークであるADAPT--Amortized Distillation Across PostTrained LLMsを紹介した。 第一に,2相蒸留法は,事前学習のアライメントと微調整の指導により,後生を育成するものである。 モデルの結果の連続性は、推論時に適応的なモデルサイズ選択を可能にする。
  論文  参考訳（メタデータ） (2026-08-24T06:36:32Z)
• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks [77.90900650816046]
  ゼロショットセミパラメトリック言語モデルである$textZemi$を紹介します。 私たちは、新しいセミパラメトリックマルチタスクによるトレーニングパラダイムで、textZemi$をトレーニングします。 具体的には、大規模タスクに依存しない未ラベルコーパスからの検索により、マルチタスクトレーニングとゼロショット評価を強化する。
  論文  参考訳（メタデータ） (2022-10-01T04:08:50Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。