論文の概要: Beyond Shallow Heuristics: Leveraging Human Intuition for Curriculum Learning

• arxiv url: http://arxiv.org/abs/2508.19873v1
• Date: Wed, 27 Aug 2025 13:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.643073
• Title: Beyond Shallow Heuristics: Leveraging Human Intuition for Curriculum Learning
• Title（参考訳）: 浅層ヒューリスティックスを超えて:カリキュラム学習のための人間の直観を活用する
• Authors: Vanessa Toborek, Sebastian Müller, Tim Selbach, Tamás Horváth, Christian Bauckhage,
• Abstract要約: 本研究では,人為的な単純な言語がカリキュラム学習に有効な信号であるかどうかを考察する。 以上の結果から,言語的困難に対する人間の直感は,言語モデル事前学習のためのCLを導出できることが示唆された。
• 参考スコア（独自算出の注目度）: 3.6723390575705146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning (CL) aims to improve training by presenting data from "easy" to "hard", yet defining and measuring linguistic difficulty remains an open challenge. We investigate whether human-curated simple language can serve as an effective signal for CL. Using the article-level labels from the Simple Wikipedia corpus, we compare label-based curricula to competence-based strategies relying on shallow heuristics. Our experiments with a BERT-tiny model show that adding simple data alone yields no clear benefit. However, structuring it via a curriculum -- especially when introduced first -- consistently improves perplexity, particularly on simple language. In contrast, competence-based curricula lead to no consistent gains over random ordering, probably because they fail to effectively separate the two classes. Our results suggest that human intuition about linguistic difficulty can guide CL for language model pre-training.
• Abstract（参考訳）: カリキュラム学習(CL: Curriculum Learning)は、"easy"から"hard"にデータを提示することでトレーニングを改善することを目的としているが、言語的困難を定義し、測定することはオープンな課題である。 簡単な言語がCLのシグナルとして有効であるかどうかを考察する。 The Simple Wikipedia corpus の記事レベルラベルを用いて、ラベルベースのカリキュラムと、浅いヒューリスティックスに依存したコンピテンスベースの戦略を比較した。 BERT-tinyモデルによる実験では、単純なデータのみを追加すると明確なメリットが得られません。 しかし、カリキュラム(特に最初に導入されたとき)を通じて構成することは、特に単純な言語において、難易度を一貫して改善する。 対照的に、コンピテンスベースのカリキュラムは、おそらく2つのクラスを効果的に分離できないため、ランダム順序付けよりも一貫した利得を得られない。 以上の結果から,言語的困難に対する人間の直感は,言語モデル事前学習のためのCLを導出できることが示唆された。

関連論文リスト

• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions [3.0906699069248806]
  Construction Grammar (CxG) は、一般化をテストするための精神言語学的基盤となるフレームワークである。 我々のデータセットは英語のフレーズ構造で構成されており、話者は共通の場所のインスタンス化を抽象化できることが知られている。 その結果、GPT-o1を含む最先端モデルでは、第2タスクで40%以上の性能低下が見られた。
  論文  参考訳（メタデータ） (2025-01-08T18:15:10Z)
• Large Language Model Augmented Exercise Retrieval for Personalized Language Learning [2.946562343070891]
  ベクトル類似性アプローチは,学習者が学習したいことを表現するために使用するエクササイズコンテンツと言語との関係を,不十分に捉えていることがわかった。 我々は,学習者の入力に基づいて仮説的演習を合成することにより,大きな言語モデルの生成能力を活用してギャップを埋める。 我々はmHyERと呼ぶアプローチを,(1)学習における関連ラベルの欠如,(2)制限なし学習者の入力内容,(3)入力候補と検索候補とのセマンティックな類似性の低さという3つの課題を克服する。
  論文  参考訳（メタデータ） (2024-02-08T20:35:31Z)
• Less is More: A Closer Look at Semantic-based Few-Shot Learning [11.724194320966959]
  Few-shot Learningは、利用可能な画像の数が非常に限られている新しいカテゴリを学習し、区別することを目的としている。 本稿では,テキスト情報と言語モデルを活用することを目的とした,数ショットの学習タスクのための,シンプルだが効果的なフレームワークを提案する。 広範に使われている4つのショットデータセットで実施した実験は、我々の単純なフレームワークが印象的な結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-10T08:56:02Z)
• Leveraging Code to Improve In-context Learning for Semantic Parsing [48.66031267718704]
  In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。 我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
  論文  参考訳（メタデータ） (2023-11-16T02:50:06Z)
• Learning with Partial Labels from Semi-supervised Perspective [28.735185883881172]
  部分ラベル学習(Partial Label、PL)とは、部分ラベル付きデータから学習するタスクである。 セミスーパーバイザード・パースペクティブ(PLSP)を用いた部分ラベル学習という新しいPL学習手法を提案する。 PLSPは、特に高いあいまいさレベルにおいて、既存のPLベースライン法よりも著しく優れている。
  論文  参考訳（メタデータ） (2022-11-24T15:12:16Z)
• Semi-Supervised Lifelong Language Learning [81.0685290973989]
  ラベル付きデータとラベルなしデータの両方を用いて、モデルが逐次到着する言語タスクを学習する、新しい半教師付き生涯言語学習(SSLL)について検討する。 特に、破滅的な忘れを軽減し、ラベルのないデータを活用するために2つのモジュールを設計するために、タスク固有のモジュールに特化しています。 各種言語課題に対する実験結果から,本モデルの有効性と,競争的ベースラインよりも優越性を示す。
  論文  参考訳（メタデータ） (2022-11-23T15:51:33Z)
• OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression [94.28253749970534]
  我々は、リッチなセマンティックCLIP潜在空間からランクの概念を学ぶことを提案する。 OrdinalCLIPは学習可能なコンテキストトークンと学習可能なランク埋め込みで構成されている。 実験結果から,本パラダイムは一般順序回帰タスクにおける競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-06T03:54:53Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。