論文の概要: Curriculum Learning with Adam: The Devil Is in the Wrong Details

• arxiv url: http://arxiv.org/abs/2308.12202v1
• Date: Wed, 23 Aug 2023 15:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 13:46:25.629538
• Title: Curriculum Learning with Adam: The Devil Is in the Wrong Details
• Title（参考訳）: Adam氏によるカリキュラム学習: 悪魔は間違った詳細にある
• Authors: Lucas Weber, Jaap Jumelet, Paul Michel, Elia Bruni, Dieuwke Hupkes
• Abstract要約: Curriculum Learning (CL)は、機械学習モデルが現在の学習の進捗と一致するデータからより効率的に学習できることを示唆している。 しかし、CL法はまだよく理解されておらず、特に自然言語処理(NLP)では、限られた成功しか得られていない。
• 参考スコア（独自算出の注目度）: 26.71593206490888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning (CL) posits that machine learning models -- similar to humans -- may learn more efficiently from data that match their current learning progress. However, CL methods are still poorly understood and, in particular for natural language processing (NLP), have achieved only limited success. In this paper, we explore why. Starting from an attempt to replicate and extend a number of recent curriculum methods, we find that their results are surprisingly brittle when applied to NLP. A deep dive into the (in)effectiveness of the curricula in some scenarios shows us why: when curricula are employed in combination with the popular Adam optimisation algorithm, they oftentimes learn to adapt to suboptimally chosen optimisation parameters for this algorithm. We present a number of different case studies with different common hand-crafted and automated CL approaches to illustrate this phenomenon, and we find that none of them outperforms optimisation with only Adam with well-chosen hyperparameters. As such, our results contribute to understanding why CL methods work, but at the same time urge caution when claiming positive results.
• Abstract（参考訳）: カリキュラム学習(cl)は、人間に似た機械学習モデルが、現在の学習の進捗に合致したデータからより効率的に学習できると仮定する。 しかし、CL法はまだよく理解されておらず、特に自然言語処理(NLP)では、限られた成功しか得られていない。 本稿では,その理由を考察する。 近年のカリキュラムメソッドの複製と拡張から始めて,NLPに適用した場合,結果が驚くほど不安定であることが判明した。 一般的なadamオプティマイズアルゴリズムと組み合わせることで、彼らはしばしば、このアルゴリズムのために最適化された最適化パラメータに適応することを学びます。 我々は,この現象を説明するために,手作りおよび自動化clアプローチの異なるケーススタディをいくつか提示し,adam と well-chosen hyperparameters だけでは最適化を上回らないことを見出した。 その結果,CL法が有効である理由の理解に寄与すると同時に,肯定的な結果の主張にも注意を促した。

関連論文リスト

• The Role of Learning Algorithms in Collective Action [8.955918346078935]
  本研究では,学習アルゴリズムの特性に大きく依存していることを示す。 このことは、機械学習における集団行動の影響を研究する際に、学習アルゴリズムを考慮に入れる必要性を強調している。
  論文  参考訳（メタデータ） (2024-05-10T16:36:59Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
  監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。 我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
  論文  参考訳（メタデータ） (2022-10-21T21:59:42Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)
• Towards Understanding the Behaviors of Optimal Deep Active Learning Algorithms [19.65665942630067]
  アクティブラーニング(AL)アルゴリズムは、モデルがデータ選択プロセスを導くため、より少ないデータでより良いパフォーマンスを達成できます。 alの最適形状についてはほとんど研究されていないため、研究者たちはモデルがどこが不足しているかを理解するのに役立つだろう。 我々は,この最適オラクルを探索し,いくつかのタスクで解析するシミュレーションアニーリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-29T22:56:42Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。