論文の概要: Inferring the Size of Large Language Models From Popular Text Memorization

• arxiv url: http://arxiv.org/abs/2605.29223v1
• Date: Thu, 28 May 2026 01:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.577967
• Title: Inferring the Size of Large Language Models From Popular Text Memorization
• Title（参考訳）: 人気のテキスト記憶から大規模言語モデルの大きさを推定する
• Authors: Ivica Nikolic,
• Abstract要約: モデルは、長さの異なるテキスト断片をまたいだ次の単語を正確に予測することは、その単語がどれだけ記憶されたかの信頼できる信号である。 この記憶信号は、テキストと断片長の多種多様なコーパスにまたがって、モデル毎の1つの精度プロファイルベクトルに集約する。 その上に2つの補完的推論手法を構築し、その上に2つのモデルのうちどれが大きいかを決定するペア統計テストと、スケーリング法則推定器を構築した。
• 参考スコア（独自算出の注目度）: 0.989901717499058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The parameter counts of the most widely used large language models (LLMs) are often withheld by their developers, leaving model size -- a primary reference point for interpreting capabilities and costs -- largely undisclosed. We propose a black-box method to infer conservative lower bounds on LLM size from generated text outputs alone, requiring nothing beyond the ability to submit text fragments and observe next-token predictions. Our approach is grounded in a key observation: popular, widely-circulated texts -- such as classical literature, religious texts, and foundational documents -- are present in virtually every large-scale pretraining corpus, and how accurately a model predicts the next word across text fragments of varying length is a reliable signal of how much it has memorized them, which in turn is fundamentally limited by its total parameter count. We aggregate this memorization signal across a diverse corpus of texts and fragment lengths into a single accuracy profile vector per model, and build two complementary inference methods on top of it: a pairwise statistical test that determines which of two models is larger, and a scaling-law estimator that extracts a one-dimensional latent index from these vectors via Principal Component Analysis (PCA) to map the aggregated signal to a parameter count. Validated on a broad set of open-weight models, both methods produce accurate and reliable lower bounds. When applied to popular closed-weight models, our framework recovers internal product hierarchies and reveals a clear divergence in industry scaling strategies: while some developers yield significantly higher bounds indicative of large generational parameter growth, others operate under strict parameter ceilings, demonstrating that hidden design choices can be systematically probed even under strict API limitations.
• Abstract（参考訳）: 最も広く使われている大規模言語モデル(LLM)のパラメータカウントは、しばしば開発者が保持しておらず、モデルサイズ -- 機能とコストを解釈するための主要なリファレンスポイント -- はほとんど開示されていない。 そこで本研究では,生成したテキスト出力のみから,LCMサイズの保守的下限を推測するブラックボックス手法を提案する。 古典文学、宗教テキスト、基礎文書など、広く普及しているテキストは、ほぼ全ての大規模事前学習コーパスに存在し、モデルが、長さの異なるテキスト断片をまたいで次の単語を正確に予測することは、それがどれだけ記憶されたかの信頼できる信号であり、その合計パラメータ数によって基本的に制限されている。 この暗記信号を多種多様なテキストと断片長のコーパスに集約し、その上に2つの補完的推論手法を構築し、その上に2つのモデルのうちどれが大きいかを決定するペアの統計的テストと、これらのベクトルから主成分分析(PCA)を介して1次元潜在指数を抽出し、集約された信号をパラメータ数にマッピングするスケーリング法推定器を構築した。 幅広いオープンウェイトモデルで検証され、どちらの手法も正確で信頼性の高い下位境界を生成する。 一般的なクローズドウェイトモデルに適用すると、当社のフレームワークは内部製品階層を回復し、業界規模でのスケーリング戦略の明確な相違を明らかにします。

関連論文リスト

• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
  大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。 本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。 実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
  論文  参考訳（メタデータ） (2025-08-18T17:59:15Z)
• An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
  Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。 既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。 短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。 さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
  論文  参考訳（メタデータ） (2025-07-18T10:07:42Z)
• CASTILLO: Characterizing Response Length Distributions of Large Language Models [3.5041586868397854]
  CASTILLO(CASTILLO)は、広く使われている13の大規模言語モデルにまたがる応答長分布を特徴付けるデータセットである。 本分析では,応答長のモデル間およびモデル内変動と,応答のサブセットのみにおけるモデル特異的な振る舞いと部分的テキスト変性の発生を明らかにした。
  論文  参考訳（メタデータ） (2025-05-22T16:35:33Z)
• Random-Set Large Language Models [4.308457163593758]
  大規模言語モデル(LLM)は、クエリに対する非常に高品質なテストとレスポンスを生成することで知られています。 しかし、この生成されたテキストはいくら信用できますか? 本稿では,トークン空間上の有限ランダム集合(関数)を予測するランダムセット大言語モデル(RSLLM)を提案する。
  論文  参考訳（メタデータ） (2025-04-25T05:25:27Z)
• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models [3.656114607436271]
  既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータが必要である。 生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発した。 本稿では、Twitter上の特定の政党への反感を反映したスピーチをよりよく理解するために、このアプローチを適用する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。