論文の概要: Learn from your own latents and not from tokens: A sample-complexity theory

• arxiv url: http://arxiv.org/abs/2605.27734v1
• Date: Tue, 26 May 2026 22:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.576286
• Title: Learn from your own latents and not from tokens: A sample-complexity theory
• Title（参考訳）: トークンからではなく、自分自身の潜伏者から学ぶ:サンプル複雑理論
• Authors: Daniel J. Korchinski, Alessandro Favero, Matthieu Wyart,
• Abstract要約: 本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
• 参考スコア（独自算出の注目度）: 53.5821824211418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative models, from diffusion models to large language models, achieve remarkable performance but at a cost in training data orders of magnitude larger than what biological learners require. An alternative paradigm has emerged in which networks are trained to predict their \emph{own} latent representations of related views or masked regions, as in data2vec and JEPA -- an idea related to predictive-coding accounts of the cortex. Despite strong empirical results, the theoretical understanding of these methods remains limited. Central questions include: by how much does latent prediction actually improve data efficiency? Is there a benefit to stacking such methods into multi-scale hierarchies? We answer both using as data a tractable probabilistic context-free grammar that captures the compositional structure of natural language and images. Such a grammar generates strings of visible tokens by recursively applying production rules along a tree of hidden symbols of depth $L$. For such data, supervised or token-level SSL require a number of samples \emph{exponential} in $L$ to recover the latent tree; we prove that latent prediction achieves this with a number of samples \emph{constant} in $L$, up to logarithmic factors. We confirm this bound with (i) a hierarchical clustering algorithm, (ii) an end-to-end neural network whose predictor-clusterer modules predict their own latents at each level via gradient descent, and (iii) the first sample-complexity analysis of data2vec, which we show implicitly performs hierarchical latent prediction. This suggests that explicit stacking such as H-JEPA is largely redundant.
• Abstract（参考訳）: 拡散モデルから大規模言語モデルまでの生成モデルは、優れた性能を達成するが、生物学的学習者が必要とするものよりもはるかに大きなデータ順序を訓練するコストがかかる。 data2vecやJEPAのように、ネットワークが関連するビューやマスキング領域の‘emph{own}潜在表現を予測するように訓練される別のパラダイムが登場した。 強い経験的結果にもかかわらず、これらの方法の理論的理解は依然として限られている。 潜伏予測がデータ効率をどの程度向上させるのか? このようなメソッドをマルチスケール階層にスタックするメリットはありますか? 我々は、自然言語と画像の合成構造をキャプチャする、抽出可能な確率論的文脈自由文法をデータとして用いて、双方に答える。 このような文法は、深さ$L$の隠されたシンボルのツリーに沿って生産規則を再帰的に適用することで、可視トークンの文字列を生成する。 このようなデータに対して、教師付きあるいはトークンレベルのSSLは、潜伏木を復元するために$L$で多数のサンプル \emph{exponential} を必要とする。 私たちはこれを確認します (i)階層的クラスタリングアルゴリズム 二 予測器・クラスターモジュールが勾配降下により各レベルでそれぞれの潜伏者を予測し、終末ニューラルネットワーク 3)Data2vecの最初のサンプル・複雑度解析を行い,階層的潜伏予測を暗黙的に実施した。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。

関連論文リスト

• A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning [15.789193816051911]
  階層構造を持つ合成言語群を紹介する。 自己回帰生成における文脈長と推論の役割を正確に分析することができる。
  論文  参考訳（メタデータ） (2026-05-13T15:42:26Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• How Do LLMs Use Their Depth? [17.148445769990907]
  大規模言語モデルは深度を均一に用いていないが,層レベルでの予測力学の詳細な理解はいまだに得られていない。 本稿では,LLMが内部的に計算を構成して予測を行う方法について説明する。
  論文  参考訳（メタデータ） (2025-10-21T17:59:05Z)
• Random-Set Large Language Models [4.308457163593758]
  大規模言語モデル(LLM)は、クエリに対する非常に高品質なテストとレスポンスを生成することで知られています。 しかし、この生成されたテキストはいくら信用できますか? 本稿では,トークン空間上の有限ランダム集合(関数)を予測するランダムセット大言語モデル(RSLLM)を提案する。
  論文  参考訳（メタデータ） (2025-04-25T05:25:27Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Clue Me In: Semi-Supervised FGVC with Out-of-Distribution Data [44.90231337626545]
  半教師付き視覚分類のための配布外データ処理に特化した新しい設計を提案する。 実験の結果, (i) 提案手法は分布外データに対して良好なロバスト性を示し, (ii) 先行技術を用いて, 性能を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-12-06T07:22:10Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。