論文の概要: A Latent Variable Framework for Scaling Laws in Large Language Models

• arxiv url: http://arxiv.org/abs/2512.06553v1
• Date: Sat, 06 Dec 2025 19:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.404085
• Title: A Latent Variable Framework for Scaling Laws in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける法則スケーリングのための潜在変数フレームワーク
• Authors: Peiyao Cai, Chengyu Cui, Felipe Maia Polo, Seamus Somerstep, Leshem Choshen, Mikhail Yurochkin, Moulinath Banerjee, Yuekai Sun, Kean Ming Tan, Gongjun Xu,
• Abstract要約: 大規模言語モデル(LLM)のスケーリング法則の潜在変数モデルに基づく統計的枠組みを提案する。 この潜在変数モデルの推定手法を開発し,その統計的特性を確立する。 また、推定および様々な下流タスクをサポートする効率的な数値アルゴリズムを設計する。
• 参考スコア（独自算出の注目度）: 46.800138455719384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a statistical framework built on latent variable modeling for scaling laws of large language models (LLMs). Our work is motivated by the rapid emergence of numerous new LLM families with distinct architectures and training strategies, evaluated on an increasing number of benchmarks. This heterogeneity makes a single global scaling curve inadequate for capturing how performance varies across families and benchmarks. To address this, we propose a latent variable modeling framework in which each LLM family is associated with a latent variable that captures the common underlying features in that family. An LLM's performance on different benchmarks is then driven by its latent skills, which are jointly determined by the latent variable and the model's own observable features. We develop an estimation procedure for this latent variable model and establish its statistical properties. We also design efficient numerical algorithms that support estimation and various downstream tasks. Empirically, we evaluate the approach on 12 widely used benchmarks from the Open LLM Leaderboard (v1/v2).
• Abstract（参考訳）: 大規模言語モデル(LLM)のスケーリング法則の潜在変数モデルに基づく統計的枠組みを提案する。 我々の研究は、異なるアーキテクチャとトレーニング戦略を持つ多くの新しいLLMファミリーが急速に出現し、多くのベンチマークで評価されることを動機としている。 この異質性により、単一のグローバルなスケーリング曲線が、家族やベンチマーク間でパフォーマンスがどのように変化するかを把握するのに不十分になります。 そこで本研究では,それぞれのLLMファミリーに,そのファミリーの共通する特徴をキャプチャする潜在変数を関連付ける潜在変数モデリングフレームワークを提案する。 異なるベンチマークでのLLMのパフォーマンスは、潜在変数とモデル独自の可観測性によって共同で決定される潜在スキルによって駆動される。 この潜在変数モデルの推定手法を開発し,その統計的特性を確立する。 また、推定および様々な下流タスクをサポートする効率的な数値アルゴリズムを設計する。 実験的に、Open LLM Leaderboard (v1/v2) から広く使用されている12のベンチマークに対するアプローチを評価した。

関連論文リスト

• LENS: Learning Ensemble Confidence from Neural States for Multi-LLM Answer Integration [0.0]
  大きな言語モデル(LLM)は、様々なタスクで素晴らしいパフォーマンスを示しています。 LENS(Learning ENsemble confidence from Neural States)は、内部表現を分析してモデル信頼度を推定する新しい手法である。
  論文  参考訳（メタデータ） (2025-07-31T00:35:45Z)
• Relative Overfitting and Accept-Reject Framework [5.465098504510676]
  本稿では,性能向上のためにモデルをセグメント化する方法を管理するアンサンブルフレームワークを提案する。 NLPの領域におけるこのフレームワークのパターンを詳述し、コンピュータビジョン(CV)や科学のためのAIなど他の分野に簡単に説明します。
  論文  参考訳（メタデータ） (2025-05-12T17:36:14Z)
• Ensemble Bayesian Inference: Leveraging Small Language Models to Achieve LLM-level Accuracy in Profile Matching Tasks [0.0]
  本研究では,プロプライエタリな大規模言語モデル (LLM) に匹敵する精度を実現するため,小型言語モデル (SLM) アンサンブルの可能性を検討する。 本稿では,複数のSLMから判断を合成するためにベイズ推定を適用した新しい手法として,EBI(Ensemble Bayesian Inference)を提案する。
  論文  参考訳（メタデータ） (2025-04-24T15:55:10Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [0.0]
  BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。 Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。 本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-22T00:59:25Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。