論文の概要: Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?
- arxiv url: http://arxiv.org/abs/2406.04391v1
- Date: Thu, 6 Jun 2024 17:46:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 18:39:07.953673
- Title: Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?
- Title（参考訳）: なぜ大規模に残っているフロンティアAIモデルの下流能力を予測するのか?
- Authors: Rylan Schaeffer, Hailey Schoelkopf, Brando Miranda, Gabriel Mukobi, Varun Madan, Adam Ibrahim, Herbie Bradley, Stella Biderman, Sanmi Koyejo,
- Abstract要約: 広範に使用されている複数選択質問応答ベンチマークのスケーリング動作のモデル化が困難であることを示す。
ダウンストリーム性能は、性能とスケールの統計的関係を段階的に低下させる一連の変換によって負のログ確率から計算されることを示す。
計算量の増加に伴う誤った選択に対して、確率質量と確率質量が共起する正しい選択に対する確率質量がどのようにして成立するかを実証的に研究し、誤った選択に対するスケーリング法則が達成可能であることを示唆する。
- 参考スコア（独自算出の注目度）: 26.04581530766348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictable behavior from scaling advanced AI systems is an extremely desirable property. Although a well-established literature exists on how pretraining performance scales, the literature on how particular downstream capabilities scale is significantly muddier. In this work, we take a step back and ask: why has predicting specific downstream capabilities with scale remained elusive? While many factors are certainly responsible, we identify a new factor that makes modeling scaling behavior on widely used multiple-choice question-answering benchmarks challenging. Using five model families and twelve well-established multiple-choice benchmarks, we show that downstream performance is computed from negative log likelihoods via a sequence of transformations that progressively degrade the statistical relationship between performance and scale. We then reveal the mechanism causing this degradation: downstream metrics require comparing the correct choice against a small number of specific incorrect choices, meaning accurately predicting downstream capabilities requires predicting not just how probability mass concentrates on the correct choice with scale, but also how probability mass fluctuates on specific incorrect choices with scale. We empirically study how probability mass on the correct choice co-varies with probability mass on incorrect choices with increasing compute, suggesting that scaling laws for incorrect choices might be achievable. Our work also explains why pretraining scaling laws are commonly regarded as more predictable than downstream capabilities and contributes towards establishing scaling-predictable evaluations of frontier AI models.
- Abstract（参考訳）: 高度なAIシステムのスケーリングによる予測可能な振る舞いは、非常に望ましい特性である。
事前トレーニングのパフォーマンスのスケールに関する文献は確立されているが、ダウンストリーム能力のスケールに関する文献は、かなり泥だらけである。
この研究で、私たちは一歩後退して、なぜスケールで特定のダウンストリーム能力を予測したのか?
多くの要因が確かに責任を負っていますが、広く使われている複数の質問回答ベンチマークのスケーリング動作を難しくする新しい要因を特定します。
5つのモデルファミリと12のよく確立されたマルチチョイスベンチマークを用いて、ダウンストリーム性能は、性能とスケールの統計的関係を段階的に低下させる一連の変換によって負のログ可能性から計算されることを示す。
下流のメトリクスは、少数の特定の誤った選択に対して正しい選択を比較する必要があり、正確に下流の能力を予測するためには、スケールによる正しい選択にどのように確率質量が集中するかだけでなく、スケールによる特定の誤った選択にどのように確率質量が変動するかを予測する必要がある。
計算量の増加に伴う誤った選択に対して、確率質量と確率質量が共起する正しい選択に対する確率質量がどのようにして成立するかを実証的に研究し、誤った選択に対するスケーリング法則が達成可能であることを示唆する。
私たちの研究は、事前学習されたスケーリング法則が、下流の能力よりも予測可能なものであると一般的にみなす理由も説明し、フロンティアAIモデルのスケーリング予測可能な評価の確立に寄与している。
関連論文リスト
- Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。
複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。
提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
論文 参考訳（メタデータ） (2024-04-16T06:40:51Z) - Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。
微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。
本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-04T01:55:00Z) - Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。
データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。
概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
論文 参考訳（メタデータ） (2023-06-26T13:06:34Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。
本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。
ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文 参考訳（メタデータ） (2021-12-15T15:17:02Z) - Calibrating Predictions to Decisions: A Novel Approach to Multi-Class
Calibration [118.26862029820447]
我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。
決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
論文 参考訳（メタデータ） (2021-07-12T20:17:28Z) - Backward-Compatible Prediction Updates: A Probabilistic Approach [12.049279991559091]
本稿では,予測更新問題を定式化し,上記の質問に対する効率的な確率的アプローチを提案する。
標準分類ベンチマークデータセットの広範な実験において,提案手法は後方互換性のある予測更新のための代替戦略よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-07-02T13:05:31Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Learnable and Instance-Robust Predictions for Online Matching, Flows and
Load Balancing [12.961453245099044]
本稿では,アルゴリズムが形式的に学習可能で,例えば頑健であることを要求して,予測を伴うアルゴリズムの拡張モデルを提案する。
ネットワークフロー割当問題と制限された割当ミスパン最小化の予測を含むオンラインアルゴリズムを設計する。
論文 参考訳（メタデータ） (2020-11-23T21:38:57Z) - PrognoseNet: A Generative Probabilistic Framework for Multimodal
Position Prediction given Context Information [2.5302126831371226]
本稿では,予測問題を分類タスクとして再構成し,強力なツールを実現する手法を提案する。
潜在変数のスマートな選択は、分類問題と非常に単純化された回帰問題の組み合わせとして、ログ様関数の再構成を可能にする。
提案手法は文脈情報を容易に組み込むことができ、データの事前処理は不要である。
論文 参考訳（メタデータ） (2020-10-02T06:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。