論文の概要: Position Bias in Ordinal Classification: A Systematic Evaluation

• arxiv url: http://arxiv.org/abs/2608.08869v1
• Date: Sun, 09 Aug 2026 19:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.978599
• Title: Position Bias in Ordinal Classification: A Systematic Evaluation
• Title（参考訳）: 正規分類における位置バイアス:システム評価
• Abstract要約: ラベル順、デモ順、デモ配置から位置バイアスを特徴付ける。 位置の堅牢性は、モデルのみではなく、システム全体の構成に依存する。
• 参考スコア（独自算出の注目度）: 4.5868398512486115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used for ordinal classification, yet semantically equivalent changes to prompt organization can alter their predictions. We conduct systematic experiments to characterize positional bias from label order, demonstration order, and demonstration placement. First, we apply the three probes to ten frontier LLMs on a common ordinal-classification task; every model is sensitive to all three positional sources, showing that the problem is pervasive. Second, we vary eight prompt-, task-, and model-level factors across five datasets; accuracy and stability are often misaligned, and only lower scale cardinality consistently improves both. Third, we compare pointwise, pairwise, and listwise inference, alternative aggregation and debiasing methods, and joint configurations; the tested corrections do not provide a reliable remedy, while a comparison-based listwise formulation offers the best balance but transfers unevenly across models and bias sources. These findings show that positional robustness depends on the full system configuration rather than the model alone. Ordinal-classification systems should therefore be selected jointly for predictive performance and stability.
• Abstract（参考訳）: 大規模言語モデルは、順序の分類にますます使われているが、組織が予測を変更するための意味論的に等価な変化がある。 我々は,ラベル順,デモ順,デモ配置から位置バイアスを特徴付けるための系統的な実験を行う。 まず、3つのプローブを10個のフロンティアLSMに共通の順序分類タスクに適用し、各モデルが3つの位置源すべてに敏感であり、その問題が広まることを示す。 第2に、私たちは5つのデータセットにまたがって8つのプロンプト、タスク、モデルレベルの要因を変化させています。 第3に、ポイントワイズ、ペアワイズ、リストワイズ推論、代替アグリゲーションおよびデバイアス法、ジョイント構成を比較し、テストされた補正は信頼性のある治療法を提供していないが、比較ベースのリストワイズ定式化は最良のバランスを提供するが、モデルやバイアス源間で不均一に転送する。 これらの結果から, 位置的ロバスト性はモデルのみではなく, システム全体の構成に依存することがわかった。 したがって、予測性能と安定性のために、通常分類システムは共同で選択されるべきである。

関連論文リスト

• Learning Transferable Predictability Representations [2.1505812656718795]
  予測可能性条件の順序付き連続体上の位置を反映した短い軌跡窓にスカラースコアを割り当てる問題について検討する。 我々はこれを5段階の予測可能性はしご上での順序推定として定式化し、システム間のあいまいさの構造的源を特定する。 GON(Gauge-Fixed Ordinal Network)は,レベルワイドスコアをピン留めして目標座標を共有するアンカー・アンド・ディスラプティビティで訓練された時間的畳み込みモデルである。
  論文  参考訳（メタデータ） (2026-05-28T21:38:49Z)
• A Mechanistic Study of Tabular Foundation Models [12.26738662548555]
  タブラル基礎モデルは、様々な分類タスクと回帰タスクに精度で収束する。 これは、リーダーボードが答えられない疑問を引き起こす。 i)モデルが同一のコンテキスト内アルゴリズムを実行するかどうか,(ii)行,列,およびクラス置換不変性が生じるか,および(iii)モデルが推論されたメカニズムに対してエンジニアリングされた摂動下にあるか,の3つを特徴付ける。
  論文  参考訳（メタデータ） (2026-05-20T15:23:16Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Selective Mixup for Debiasing Question Selection in Computerized Adaptive Testing [50.805231979748434]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、オンライン教育プラットフォームにおける学習者の習熟度を評価する技術である。 選択バイアスは、質問選択が推定された熟練度に強く影響されるため生じる。 本稿では,Cross-Attribute Examinee RetrievalとSelective Mixup-based Regularizationの2つの主要なモジュールからなるデバイアス化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-19T08:55:01Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Fragile Preferences: A Deep Dive Into Order Effects in Large Language Models [2.3936613583728064]
  複数大言語モデル(LLM)における位置バイアスの包括的研究について紹介する。 品質依存的なシフトを含む、強い一貫性のある順序効果が得られます。 また、人的および機械的意思決定において、これまで文書化されていなかった2つのバイアスを特定します。
  論文  参考訳（メタデータ） (2025-06-17T01:14:22Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。