論文の概要: Meek Models Shall Inherit the Earth

• arxiv url: http://arxiv.org/abs/2507.07931v1
• Date: Thu, 10 Jul 2025 17:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.508489
• Title: Meek Models Shall Inherit the Earth
• Title（参考訳）: 地球を継承するミークモデル(動画あり)
• Authors: Hans Gundlach, Jayson Lynch, Neil Thompson,
• Abstract要約: 過去10年で、少数の企業がAIシステムを驚くほどスケールアップし、AIモデルのパフォーマンスが不平等になった。 本稿では,AIモデルの能力の収束に繋がる,知能的な直観とは裏腹に,スケーリングへの回帰が減少すると論じる。
• 参考スコア（独自算出の注目度）: 1.9647223141071104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The past decade has seen incredible scaling of AI systems by a few companies, leading to inequality in AI model performance. This paper argues that, contrary to prevailing intuition, the diminishing returns to compute scaling will lead to a convergence of AI model capabilities. In other words, meek models (those with limited computation budget) shall inherit the earth, approaching the performance level of the best models overall. We develop a model illustrating that under a fixed-distribution next-token objective, the marginal capability returns to raw compute shrink substantially. Given current scaling practices, we argue that these diminishing returns are strong enough that even companies that can scale their models exponentially faster than other organizations will eventually have little advantage in capabilities. As part of our argument, we give several reasons that proxies like training loss differences capture important capability measures using evidence from benchmark data and theoretical performance models. In addition, we analyze empirical data on the capability difference of AI models over time. Finally, in light of the increasing ability of meek models, we argue that AI strategy and policy require reexamination, and we outline the areas this shift will affect.
• Abstract（参考訳）: 過去10年で、少数の企業がAIシステムを驚くほどスケールアップし、AIモデルのパフォーマンスが不平等になった。 本稿では,AIモデルの能力の収束に繋がる,知能的な直観とは裏腹に,スケーリングへの回帰が減少すると論じる。 言い換えれば、ミークモデル(計算予算が限られているもの)は地球を継承し、最高のモデルのパフォーマンスレベルにアプローチする。 本研究では, 固定分布次目標下では, 限界能力が生の計算量を大幅に縮小することを示すモデルを構築した。 現在のスケーリングのプラクティスを考えると、これらの縮小したリターンは十分に強く、他の組織よりも指数関数的にモデルをスケールできる企業でさえ、最終的には機能面でのアドバンテージがほとんどない、と私たちは主張しています。 この議論の一環として、トレーニング損失差のようなプロキシが、ベンチマークデータや理論的性能モデルから得られた証拠を用いて重要な能力測定値を取得する理由をいくつか挙げる。 さらに,AIモデルの能力差に関する経験的データを時間とともに分析する。 最後に、ミークモデルの能力の増大を踏まえて、AI戦略とポリシーは再検討を必要としていると論じ、このシフトが影響する分野を概説する。

関連論文リスト

• Great Models Think Alike and this Undermines AI Oversight [47.7725284401918]
  モデル類似性がAI監視の両面に与える影響について検討する。 本稿では,モデルミスの重複に基づくLM類似度尺度CAPAを提案する。 我々の研究は、モデル類似性の報告と修正の重要性を強調します。
  論文  参考訳（メタデータ） (2025-02-06T18:56:01Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
  バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。 我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-12T22:05:01Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Towards Deeper Deep Reinforcement Learning [42.960199987696306]
  コンピュータビジョンや自然言語処理では、最先端の強化学習アルゴリズムは小さな内在性のみを使用することが多い。 データセットのサイズが制限要因ではないことを示し、代わりに、SACのアクターが批判を通じて勾配を取る不安定性が原因であると主張する。
  論文  参考訳（メタデータ） (2021-06-02T13:41:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。