論文の概要: Scaling Laws Do Not Scale

• arxiv url: http://arxiv.org/abs/2307.03201v1
• Date: Wed, 5 Jul 2023 15:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 14:26:32.176313
• Title: Scaling Laws Do Not Scale
• Title（参考訳）: スケーリングの法則はスケールしない
• Authors: Fernando Diaz and Michael Madaio
• Abstract要約: 大規模なAIモデルのトレーニングに使用されるデータセットのサイズが大きくなるにつれて、異なるコミュニティの数が増加する可能性がある、と私たちは主張する。 その結果、データセットで表されるコミュニティが、モデルパフォーマンスを評価するために使用されるメトリクスによってキャプチャされない値や嗜好を持つリスクが増大する。
• 参考スコア（独自算出の注目度）: 87.76714490248779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has proposed a power law relationship, referred to as ``scaling laws,'' between the performance of artificial intelligence (AI) models and aspects of those models' design (e.g., dataset size). In other words, as the size of a dataset (or model parameters, etc) increases, the performance of a given model trained on that dataset will correspondingly increase. However, while compelling in the aggregate, this scaling law relationship overlooks the ways that metrics used to measure performance may be precarious and contested, or may not correspond with how different groups of people may perceive the quality of models' output. In this paper, we argue that as the size of datasets used to train large AI models grows, the number of distinct communities (including demographic groups) whose data is included in a given dataset is likely to grow, each of whom may have different values. As a result, there is an increased risk that communities represented in a dataset may have values or preferences not captured by (or in the worst case, at odds with) the metrics used to evaluate model performance for scaling laws. We end the paper with implications for AI scaling laws -- that models may not, in fact, continue to improve as the datasets get larger -- at least not for all people or communities impacted by those models.
• Abstract（参考訳）: 近年の研究では、人工知能(AI)モデルの性能とそれらのモデルの設計(例えばデータセットサイズ)の側面との間の「スケーリング法則」と呼ばれるパワーローの関係が提案されている。 言い換えると、データセット(またはモデルパラメータなど)のサイズが大きくなると、そのデータセットでトレーニングされた所定のモデルのパフォーマンスは対応するほど増加する。 しかしながら、このスケーリング法則は、集計において説得力がある一方で、パフォーマンスを測定するために使われる指標が悪用され、競合する可能性がある、あるいは、異なるグループの人々がモデルの出力の質をどう知覚するかを無視する。 本稿では、大規模AIモデルのトレーニングに使用されるデータセットのサイズが大きくなるにつれて、データセットに含まれるデータを含む異なるコミュニティ(人口統計群を含む)の数が増加し、それぞれが異なる価値を持つ可能性があることを論じる。 その結果、データセットで表されるコミュニティが、法をスケールするためにモデルパフォーマンスを評価するのに使用されるメトリクスによってキャプチャされない(または最悪の場合)値や好みを持つリスクが増加する。 論文の最後には、aiのスケーリングに関する法律 -- データセットが大きくなるにつれて、モデルが改善を続けるとは限らない — 少なくとも、これらのモデルに影響を受けるすべての人々やコミュニティにとって。

関連論文リスト

• Scaling Laws for Pre-training Agents and World Models [22.701210075508147]
  エンボディエージェントの性能は、モデルパラメータ、データセットサイズ、計算量を増やして改善されている。 本稿では,これらの課題におけるスケールの役割を,より正確に評価する。
  論文  参考訳（メタデータ） (2024-11-07T04:57:40Z)
• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• A Tale of Tails: Model Collapse as a Change of Scaling Laws [11.6055501181235]
  私たちは、合成データがトレーニングコーパスに導入される必然的な体制において、スケーリング法はどのように変化するのか? スケーリング法則のレンズによるモデル崩壊の理論的枠組みを開発する。 我々は、広範囲の崩壊現象を発見し、スケーリングの損失を分析し、世代ごとにスケールをシフトさせ、スキルの「アンラーニング」を行い、人間と合成データを混在させながらグルーキングを行う。
  論文  参考訳（メタデータ） (2024-02-10T21:06:34Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
  本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。 データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。 概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-26T13:06:34Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Variation of Gender Biases in Visual Recognition Models Before and After Finetuning [29.55318393877906]
  本稿では,下流タスクにおける大規模視覚認識モデルの微調整前後のバイアスの変化を計測するフレームワークを提案する。 ImageNet-21kのようなデータセットでトレーニングされた教師付きモデルは、事前学習されたバイアスを保持する傾向にある。 また、大規模データセットに微調整されたモデルでは、新しいバイアス付きアソシエーションを導入する可能性が高くなることもわかりました。
  論文  参考訳（メタデータ） (2023-03-14T03:42:47Z)
• A Study on the Evaluation of Generative Models [19.18642459565609]
  潜在的生成モデルは、確率値を返さないが、近年は普及している。 本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。 FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
  論文  参考訳（メタデータ） (2022-06-22T09:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。