論文の概要: Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN

• arxiv url: http://arxiv.org/abs/2507.00736v1
• Date: Tue, 01 Jul 2025 13:38:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.639773
• Title: Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN
• Title（参考訳）: 離散レベル質問障害推定における規則性:バランスのとれたDRPSと順序付きLogitNNの導入
• Authors: Arthur Thuy, Ekaterina Loginova, Dries F. Benoit,
• Abstract要約: 質問の難しさは、しばしば個別のレベルを使って表現され、タスクを順序の回帰としてフレーミングする。 本研究は,3種類のモデル出力をベンチマークすることで,これらの制約に対処する。 そこで我々は,順序付きロジットモデルをエコノメトリからニューラルネットワークに拡張した OrderedLogitNN を提案する。
• 参考スコア（独自算出の注目度）: 1.0514231683620516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have seen growing interest in Question Difficulty Estimation (QDE) using natural language processing techniques. Question difficulty is often represented using discrete levels, framing the task as ordinal regression due to the inherent ordering from easiest to hardest. However, the literature has neglected the ordinal nature of the task, relying on classification or discretized regression models, with specialized ordinal regression methods remaining unexplored. Furthermore, evaluation metrics are tightly coupled to the modeling paradigm, hindering cross-study comparability. While some metrics fail to account for the ordinal structure of difficulty levels, none adequately address class imbalance, resulting in biased performance assessments. This study addresses these limitations by benchmarking three types of model outputs -- discretized regression, classification, and ordinal regression -- using the balanced Discrete Ranked Probability Score (DRPS), a novel metric that jointly captures ordinality and class imbalance. In addition to using popular ordinal regression methods, we propose OrderedLogitNN, extending the ordered logit model from econometrics to neural networks. We fine-tune BERT on the RACE++ and ARC datasets and find that OrderedLogitNN performs considerably better on complex tasks. The balanced DRPS offers a robust and fair evaluation metric for discrete-level QDE, providing a principled foundation for future research.
• Abstract（参考訳）: 近年,自然言語処理技術を用いた質問難読度推定(QDE)への関心が高まっている。 質問の難易度はしばしば、最も簡単なものから最も難しいものまで固有の順序が原因で、タスクを順序的回帰としてフレーミングすることで表現される。 しかし、この文献はタスクの順序性を無視しており、分類や離散回帰モデルに依存しており、特殊順序回帰法は未探索のままである。 さらに、評価指標はモデリングパラダイムと密結合しており、クロススタディのコンパビリティを妨げる。 一部のメトリクスは難易度の順序的構造を説明できないが、クラス不均衡に適切に対処することはなく、結果として性能評価がバイアスとなる。 この研究は、3種類のモデル出力(離散回帰、分類、順序回帰)を、バランスの取れた離散ランク確率スコア(DRPS)を用いてベンチマークすることで、これらの制限に対処する。 本稿では,一般的な順序回帰法に加えて,順序付きロジットモデルをエコノメトリからニューラルネットワークに拡張した OrderedLogitNN を提案する。 RACE++とARCのデータセットでBERTを微調整し、OrderedLogitNNが複雑なタスクでかなりうまく機能していることを確認します。 バランスの取れたDRPSは、離散レベルQDEに対する堅牢で公正な評価基準を提供し、将来の研究の原則的な基盤を提供する。

関連論文リスト

• FILM: Framework for Imbalanced Learning Machines based on a new unbiased performance measure and a new ensemble-based technique [37.94431794242543]
  本研究は,バイナリ分類タスクの非バランスなデータセットを扱う際の課題に対処する。 標準評価指標は、しばしば少数民族の不均等な表現に偏っている。 本稿では, バイアスを著しく低減した新しい指標Unbiased Integration Coefficientsを提案する。
  論文  参考訳（メタデータ） (2025-03-06T12:15:56Z)
• CLIMB-3D: Continual Learning for Imbalanced 3D Instance Segmentation [67.36817440834251]
  我々はtextbfCLass-incremental textbfIm Balance-aware textbf3DIS の統一フレームワークを提案する。 提案手法は, 先行研究を最大16.76%まで上回り, セマンティックセマンティックセマンティックセマンティクスでは約30%のmIoUを達成している。
  論文  参考訳（メタデータ） (2025-02-24T18:58:58Z)
• Calibration of Ordinal Regression Networks [1.2242167538741824]
  ディープニューラルネットワークは十分に校正されておらず、しばしば自信過剰な予測を生成する。 オーディナル・アウェア・キャリブレーションを導入した新しい損失関数を提案する。 ソフト・オーディナル・エンコーディングとオーディナル・アウェア・正規化を取り入れ、キャリブレーションと一様性の両方を強制する。
  論文  参考訳（メタデータ） (2024-10-21T05:56:31Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for Ordered Choices [6.982614422666432]
  我々は、完全に解釈可能なディープラーニングに基づく順序回帰モデルを開発する。 市場シェア、代替パターン、弾力性の定式化が導出される。 以上の結果から,Ordinal-ResLogitは従来の順序回帰モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-04-20T02:14:28Z)
• Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
  正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。 本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。 本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-02-14T19:49:05Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。