論文の概要: Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

• arxiv url: http://arxiv.org/abs/2605.18732v1
• Date: Mon, 18 May 2026 17:53:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.218998
• Title: Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency
• Title（参考訳）: 予測可能な衝突:モデルサイズとトピック頻度を持つLLMスケールによるFactual Recall
• Authors: Matthew L. Smith, Jonathan P. Shock, Samuel T. Segun, Iyiola E. Olatunji, Tegawendé F. Bissyandé,
• Abstract要約: リコール品質は、トレーニングデータにおけるモデルパラメータ数とトピック表現の対数-線形結合におけるシグモイドに従う。 この形式は、リコールが信号対雑音比によってゲートされる重ね合わせにインスパイアされたアカウントと一致する。
• 参考スコア（独自算出の注目度）: 6.025427796564398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While scaling laws govern aggregate large language model performance, no scaling law has linked factual recall to both model size and training-data composition. We evaluated 38 models on over 8,900 scholarly references evaluated by an automated reference verification system. Recall quality follows a sigmoid in the log-linear combination of model parameter count and topic representation in training data. These two variables alone explain 60% of the variance across 16 dense models from four families, rising to 74-94% within individual families. The form matches a superposition-inspired account in which recall is gated by a signal-to-noise ratio: signal strength scales with concept frequency and the noise floor with model capacity.
• Abstract（参考訳）: スケーリング法則は、大規模な言語モデルのパフォーマンスを集約するが、スケーリング法則は、モデルサイズとトレーニングデータ構成の両方にファクトリコールを関連付けていない。 自動基準検証システムを用いて,8900以上の学術文献を38モデル評価した。 リコール品質は、トレーニングデータにおけるモデルパラメータカウントとトピック表現の対数-線形結合におけるシグモイドに従う。 これら2つの変数だけで、4つのファミリーから16の密度モデルにまたがる分散の60%が説明され、個々のファミリーの中で74-94%まで上昇した。 この形式は、信号と雑音の比でリコールがゲートされる重畳インスパイアされたアカウントと一致し、信号強度は概念周波数でスケールし、ノイズフロアはモデル容量でスケールする。

関連論文リスト

• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Scaling Inference-Efficient Language Models [3.271571137474847]
  モデルアーキテクチャは推論レイテンシに影響を与えており、同じサイズのモデルでは最大3.5倍のレイテンシの差が生じる可能性がある。 我々は、モデルパラメータ数、トレーニングトークンの数、モデルアーキテクチャを共最適化するために、Chinchillaスケーリングの法則を変更します。 下流タスクの精度を維持しつつ、推論遅延を1.8倍改善するMorph-1Bモデルをリリースする。
  論文  参考訳（メタデータ） (2025-01-30T03:16:44Z)
• An Empirical Study of Scaling Law for OCR [27.70588974109612]
  本研究では,テキスト認識分野におけるモデルの性能とスケール,データボリューム,計算の相関について検討する。 我々は,600万個の実検体と1800万個の合成検体からなるREBU-Synという大規模データセットを構築した。 スケーリング法則と新しいデータセットに基づいて、シーンテキスト認識モデルをトレーニングし、トップ1の平均精度97.42%の6つの一般的なテストベンチマークに対して、最先端の新たなベンチマークを達成しました。
  論文  参考訳（メタデータ） (2023-12-29T03:08:57Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)
• Sharing Low Rank Conformer Weights for Tiny Always-On Ambient Speech Recognition Models [47.99478573698432]
  コンフォーマーに基づく音声認識モデルのモデルサイズを削減する手法を検討する。 このようなモデルにより、低メモリのニューラルプロセッサを持つエッジデバイス上で、常時オンの環境音声認識を実現することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:21:38Z)
• Scaling Laws for Generative Mixed-Modal Language Models [103.25737824352949]
  個別のモダリティの貢献とそれら間の相互作用を統一する混合モードスケーリング法則について報告する。 具体的には、過去のユニモーダルスケーリング法則に対する加算項として、データとモデルサイズによる最適シナジーと競合を明示的にモデル化する。 また,訓練中に観察される4つの経験的現象,例えば,自然にモダリティを交互に交互に行う創発的コーディネート・アセット・スタイル・トレーニングを見出した。
  論文  参考訳（メタデータ） (2023-01-10T00:20:06Z)
• 4-bit Conformer with Native Quantization Aware Training for Speech Recognition [13.997832593421577]
  そこで本研究では,ネイティブ整数演算を応用し,学習と推論の両方を効果的に最適化する,ネイティブ量子化を考慮した4ビットASRモデルを提案する。 提案した量子化手法を評価するために,最先端のコンフォーマーベースASRモデルに関する2つの実験を行った。 大規模データセットでトレーニングされた実用的なASRシステムにおいて、4ビット量子化が実現可能であることを初めて調査し明らかにした。
  論文  参考訳（メタデータ） (2022-03-29T23:57:15Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Automatic Learning of Subword Dependent Model Scales [50.105894487730545]
  本研究では,アテンションエンコーダ・デコーダ音響モデルと言語モデルを組み合わせたモデルスケールを手動チューニングと同様に効果的に学習できることを示す。 提案手法は,手動では調整できないサブワード依存モデル尺度に拡張され,LBSは7%,SWBは3%改善した。
  論文  参考訳（メタデータ） (2021-10-18T13:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。