論文の概要: Reproducible scaling laws for contrastive language-image learning

• arxiv url: http://arxiv.org/abs/2212.07143v1
• Date: Wed, 14 Dec 2022 10:24:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:08:40.243101
• Title: Reproducible scaling laws for contrastive language-image learning
• Title（参考訳）: コントラスト言語画像学習のための再現可能なスケーリング法則
• Authors: Mehdi Cherti, Romain Beaumont, Ross Wightman, Mitchell Wortsman, Gabriel Ilharco, Cade Gordon, Christoph Schuhmann, Ludwig Schmidt, Jenia Jitsev
• Abstract要約: コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。 私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。 OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
• 参考スコア（独自算出の注目度）: 20.171182986513468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling up neural networks has led to remarkable performance across a wide range of tasks. Moreover, performance often follows reliable scaling laws as a function of training set size, model size, and compute, which offers valuable guidance as large-scale experiments are becoming increasingly expensive. However, previous work on scaling laws has primarily used private data \& models or focused on uni-modal language or vision learning. To address these limitations, we investigate scaling laws for contrastive language-image pre-training (CLIP) with the public LAION dataset and the open-source OpenCLIP repository. Our large-scale experiments involve models trained on up to two billion image-text pairs and identify power law scaling for multiple downstream tasks including zero-shot classification, retrieval, linear probing, and end-to-end fine-tuning. We find that the training distribution plays a key role in scaling laws as the OpenAI and OpenCLIP models exhibit different scaling behavior despite identical model architectures and similar training recipes. We open-source our evaluation workflow and all models, including the largest public CLIP models, to ensure reproducibility and make scaling laws research more accessible. Source code and instructions to reproduce this study will be available at https://github.com/LAION-AI/scaling-laws-openclip
• Abstract（参考訳）: ニューラルネットワークのスケールアップは、幅広いタスクで顕著なパフォーマンスを実現している。 さらに、大規模な実験がますます高価になりつつあるため、パフォーマンスはトレーニングセットのサイズ、モデルサイズ、計算の関数として信頼性の高いスケーリング法則に従うことが多い。 しかし、従来のスケーリング法の研究は、主にプライベートデータ \&モデルを使ったり、ユニモーダル言語や視覚学習に重点を置いてきた。 これらの制約に対処するため、コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を、パブリックLAIONデータセットとオープンソースのOpenCLIPリポジトリを用いて検討する。 我々の大規模な実験では、最大20億のイメージテキストペアでトレーニングされたモデルと、ゼロショット分類、検索、線形探索、エンドツーエンドの微調整を含む複数の下流タスクに対する電力法スケーリングを識別する。 OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャや類似のトレーニングレシピにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法において重要な役割を果たすことがわかった。 当社は評価ワークフローと,最大規模のCLIPモデルを含むすべてのモデルをオープンソースとして公開しています。 この研究を再現するソースコードと指示はhttps://github.com/LAION-AI/scaling-laws-openclipで入手できる。

関連論文リスト

• Bayesian scaling laws for in-context learning [72.17734205418502]
  In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。 我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
  論文  参考訳（メタデータ） (2024-10-21T21:45:22Z)
• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Scaling Laws Behind Code Understanding Model [4.846512516189021]
  コード理解タスクのスケーリング法則について,学習データ,モデルサイズ,計算資源を用いて検討する。 我々は、より多くのコンピューティングリソースを使用して、1.5Bパラメータを持つCoLSBERTという名前の大規模コード理解モデルを大規模データセットでトレーニングする。
  論文  参考訳（メタデータ） (2024-02-20T08:31:42Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Cramming: Training a Language Model on a Single GPU in One Day [64.18297923419627]
  言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
  論文  参考訳（メタデータ） (2022-12-28T18:59:28Z)
• Scaling Laws for a Multi-Agent Reinforcement Learning Model [0.0]
  グラウンストーン強化学習アルゴリズムAlphaZeroの性能スケーリングについて検討した。 我々は、利用可能な計算でボトルネックにならない場合、ニューラルネットワークパラメータカウントのパワー則としてプレイヤーの強度がスケールすることを発見した。 最適なニューラルネットワークサイズが予想されるスケーリングが、両方のゲームのデータに適合していることが分かりました。
  論文  参考訳（メタデータ） (2022-09-29T19:08:51Z)
• Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
  DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。 データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。 パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T19:13:17Z)
• Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments [42.793379799720434]
  本稿では,スケーリング法則がモデル開発の促進に有効かどうかを考察する。 スケーリング法則は、いくつかのNLPタスクにおいて微調整時に現れる。 スケーリング法則が存在するタスクに対しては、より大きなモデルのパフォーマンスを予測するために使用することができる。
  論文  参考訳（メタデータ） (2022-02-13T19:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。