論文の概要: Four Quadrants of Difficulty: A Simple Categorisation and its Limits
- arxiv url: http://arxiv.org/abs/2601.01488v1
- Date: Sun, 04 Jan 2026 11:31:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.436257
- Title: Four Quadrants of Difficulty: A Simple Categorisation and its Limits
- Title(参考訳): 難易度四量体:単純分類とその限界
- Authors: Vanessa Toborek, Sebastian Müller, Christian Bauckhage,
- Abstract要約: そこで我々は,困難信号の4つの四分法分類,すなわち人間対モデル,タスクに依存しない対タスク依存の分類を提案する。
タスクに依存しない機能はほとんど独立して振る舞うことができ、タスクに依存した機能だけが整合していることが分かりました。
これらの知見は、一般的なカリキュラム学習の直観に挑戦し、軽量でタスク依存の難易度推定器の必要性を強調している。
- 参考スコア(独自算出の注目度): 4.304007567113229
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Curriculum Learning (CL) aims to improve the outcome of model training by estimating the difficulty of samples and scheduling them accordingly. In NLP, difficulty is commonly approximated using task-agnostic linguistic heuristics or human intuition, implicitly assuming that these signals correlate with what neural models find difficult to learn. We propose a four-quadrant categorisation of difficulty signals -- human vs. model and task-agnostic vs. task-dependent -- and systematically analyse their interactions on a natural language understanding dataset. We find that task-agnostic features behave largely independently and that only task-dependent features align. These findings challenge common CL intuitions and highlight the need for lightweight, task-dependent difficulty estimators that better reflect model learning behaviour.
- Abstract(参考訳): CL(Curriculum Learning)は、サンプルの難易度を推定し、それに応じてスケジューリングすることで、モデルトレーニングの結果を改善することを目的としている。
NLPでは、困難はタスクに依存しない言語ヒューリスティックス(英語版)や人間の直観によって概ね近似され、これらの信号が学習の困難さと相関していることを暗黙的に仮定する。
困難信号 - 人対モデルとタスクに依存しない対タスク依存 - の4つのクアドラントな分類を提案し、自然言語理解データセット上でそれらの相互作用を体系的に分析する。
タスクに依存しない機能はほとんど独立して振る舞うことができ、タスクに依存した機能だけが整合していることが分かりました。
これらの知見は、一般的なCL直観に挑戦し、モデル学習の振る舞いをよりよく反映する軽量でタスク依存の難易度推定器の必要性を強調している。
関連論文リスト
- LLMs Encode How Difficult Problems Are [4.990590622073335]
大規模言語モデルが人間の判断に沿う方法で問題難易度を符号化するかどうかを検討する。
我々は60のモデルで層とトークンの位置の線形プローブを訓練し、Easy2HardBenchの数学的および符号化部分集合を評価した。
論文 参考訳(メタデータ) (2025-10-20T22:48:23Z) - CHUCKLE -- When Humans Teach AI To Learn Emotions The Easy Way [11.645594774207511]
感情認識のための認知駆動型CLフレームワークであるCHUCKLE(クラウドソーシング人間理解カリキュラム・知識リード感情認識)を提案する。
LSTMの相対平均精度は6.56%向上し,変圧器は1.61%向上した。
論文 参考訳(メタデータ) (2025-10-10T13:38:06Z) - Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。
本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
論文 参考訳(メタデータ) (2025-07-13T19:36:17Z) - Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
AIME24データセット上でモデル性能の詳細な解析を行う。
我々は質問を4段階(易、中、硬、極度硬)に分類する。
我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。
エクレベルの質問は、根本的に異なる課題を示します。
論文 参考訳(メタデータ) (2025-04-16T03:39:38Z) - DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。
本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-12T03:36:45Z) - Exploring the Potential of Large Language Models for Estimating the Reading Comprehension Question Difficulty [2.335292678914151]
本研究では,Large Language Models (LLMs) の有効性を検討した。
また,OpenAI の GPT-4o と o1 を用いて,学習支援・読解評価 (SARA) データセットを用いた理解的質問の読解の難しさを推定する。
その結果, モデルがIRTパラメータと有意に一致した難易度推定値を生成する一方で, 極端項目特性に対する感度に顕著な差があることが示唆された。
論文 参考訳(メタデータ) (2025-02-25T02:28:48Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。