論文の概要: Chinchilla Scaling: A replication attempt

• arxiv url: http://arxiv.org/abs/2404.10102v2
• Date: Wed, 15 May 2024 00:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 15:34:50.325098
• Title: Chinchilla Scaling: A replication attempt
• Title（参考訳）: Chinchilla Scaling: レプリケーションの試み
• Authors: Tamay Besiroglu, Ege Erdil, Matthew Barnett, Josh You,
• Abstract要約: Hoffmann et al. (2022) は計算最適スケーリング法則を推定する3つの方法を提案する。 提案手法は,プロットからのデータ再構成にパラメトリック損失関数を組み込んだ第3次推定手順を再現する。 報告された推定値は、最初の2つの推定方法と矛盾し、抽出したデータに適合せず、そして、明らかに狭い信頼区間を報告している。
• 参考スコア（独自算出の注目度）: 0.5892638927736115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hoffmann et al. (2022) propose three methods for estimating a compute-optimal scaling law. We attempt to replicate their third estimation procedure, which involves fitting a parametric loss function to a reconstruction of data from their plots. We find that the reported estimates are inconsistent with their first two estimation methods, fail at fitting the extracted data, and report implausibly narrow confidence intervals--intervals this narrow would require over 600,000 experiments, while they likely only ran fewer than 500. In contrast, our rederivation of the scaling law using the third approach yields results that are compatible with the findings from the first two estimation procedures described by Hoffmann et al.
• Abstract（参考訳）: Hoffmann et al (2022) は計算最適スケーリング法則を推定する3つの方法を提案する。 提案手法は,プロットからのデータ再構成にパラメトリック損失関数を組み込んだ第3次推定手順を再現する。 報告された推定値は、最初の2つの推定方法と矛盾し、抽出したデータに適合せず、そして、明らかに狭い信頼区間を報告している。 対照的に、第3のアプローチを用いたスケーリング法の再帰は、ホフマンらによって記述された最初の2つの推定手順から得られた結果と相容れない結果をもたらす。

関連論文リスト

• Resampling methods for private statistical inference [1.8110941972682346]
  我々は、信頼区間を異なるプライバシーで構築する作業について検討する。 データのパーティション上で実行される複数の"小さな"ブートストラップの結果の中央値をプライベートに計算する,非パラメトリックブートストラップの2つのプライベート変種を提案する。 固定された差分プライバシーパラメータ$epsilon$に対して、我々のメソッドは、サンプルサイズ$n$の対数係数内の非プライベートブートストラップと同じエラー率を享受します。
  論文  参考訳（メタデータ） (2024-02-11T08:59:02Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)
• Doubly Robust Semiparametric Difference-in-Differences Estimators with High-Dimensional Data [15.27393561231633]
  不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。 第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。 第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
  論文  参考訳（メタデータ） (2020-09-07T15:14:29Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。