論文の概要: The Shrinking Lifespan of LLMs in Science

• arxiv url: http://arxiv.org/abs/2604.07530v1
• Date: Wed, 08 Apr 2026 19:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.522849
• Title: The Shrinking Lifespan of LLMs in Science
• Title（参考訳）: 科学におけるLCMの寿命
• Authors: Ana Trišović,
• Abstract要約: スケーリング法則は、言語モデル機能が計算とデータでどのように成長するかを記述しますが、モデルがいつリリースされるかについては何も述べていません。 我々は、科学者が言語モデルを時代とともに採用し、放棄する方法について、最初の大規模な実証的な説明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Scaling laws describe how language model capabilities grow with compute and data, but say nothing about how long a model matters once released. We provide the first large-scale empirical account of how scientists adopt and abandon language models over time. We track 62 LLMs across over 108k citing papers (2018-2025), each with at least three years of post-release data, and classify every citation as active adoption or background reference to construct per-model adoption trajectories that raw citation counts cannot resolve. We find three regularities. First, scientific adoption follows an inverted-U trajectory: usage rises after release, peaks, and declines as newer models appear, a pattern we term the \textit{scientific adoption curve}. Second, this curve is compressing: each additional release year is associated with a 27\% reduction in time-to-peak adoption ($p < 0.001$), robust to minimum-age thresholds and controls for model size. Third, release timing dominates model-level attributes as a predictor of lifecycle dynamics. Release year explains both time-to-peak and scientific lifespan more strongly than architecture, openness, or scale, though model size and access modality retain modest predictive power for total adoption volume. Together, these findings complement scaling laws with adoption-side regularities and suggest that the forces driving rapid capability progress may be the same forces compressing scientific relevance.
• Abstract（参考訳）: スケーリング法則は、言語モデル機能が計算とデータでどのように成長するかを記述しますが、モデルがいつリリースされるかについては何も述べていません。 我々は、科学者が言語モデルを時代とともに採用し、放棄する方法について、最初の大規模な実証的な説明を提供する。 我々は,108k以上の論文(2018-2025)を引用する62個のLCMを追跡し,各引用を,各引用を,生の引用数では解決できないモデル毎の採用軌跡を構築するための,アクティブな採用あるいはバックグラウンドリファレンスとして分類する。 規則は3つある。 まず、科学的採用は逆U軌道に従う: 利用はリリース後に増加し、新しいモデルが現れるにつれて減少し、パターンは \textit{scientific adoption curve} と呼ばれる。 第二に、この曲線は圧縮されている: 各追加リリース年は27 %の時間対ピークの採用削減(p < 0.001$)、最低年齢のしきい値へのロバスト、モデルサイズの制御に関連付けられている。 第三に、リリースタイミングはライフサイクルダイナミクスの予測因子としてモデルレベルの属性を支配します。 リリース年では、アーキテクチャ、オープン性、スケールよりも、タイム・トゥ・ピークと科学的寿命が強く説明されているが、モデルのサイズとアクセスのモダリティは、採用総量に対して、控えめな予測力を維持している。 これらの知見は、スケーリング法と採用側の規則を補完し、迅速な能力向上を促進する力は、科学的妥当性を圧縮する力と同じ力である可能性があることを示唆している。

関連論文リスト

• Scaling Inference-Efficient Language Models [3.271571137474847]
  モデルアーキテクチャは推論レイテンシに影響を与えており、同じサイズのモデルでは最大3.5倍のレイテンシの差が生じる可能性がある。 我々は、モデルパラメータ数、トレーニングトークンの数、モデルアーキテクチャを共最適化するために、Chinchillaスケーリングの法則を変更します。 下流タスクの精度を維持しつつ、推論遅延を1.8倍改善するMorph-1Bモデルをリリースする。
  論文  参考訳（メタデータ） (2025-01-30T03:16:44Z)
• Bayesian scaling laws for in-context learning [85.34114399339741]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者に近似していることを示し、ICCの新しいベイズスケーリング法を生み出した。 我々のスケーリング法則は既存のスケーリング法則と精度で一致し、タスクの優先順位、学習効率、サンプルごとの確率の解釈可能な用語も提供します。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。