論文の概要: A Bayesian Active Learning Approach to Comparative Judgement
- arxiv url: http://arxiv.org/abs/2308.13292v1
- Date: Fri, 25 Aug 2023 10:33:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 14:21:38.804143
- Title: A Bayesian Active Learning Approach to Comparative Judgement
- Title（参考訳）: ベイズ的アクティブ・ラーニングアプローチによる比較判断
- Authors: Andy Gray, Alma Rahat, Tom Crick, Stephen Lindsay, Darren Wallace
- Abstract要約: 伝統的なマーキングは、不整合と無意識のバイアスの源であり、評価者に高い認知的負荷を課す。
CJでは、評価者には2つのアイテムが提示され、より良いものを選択するように求められます。
CJはマーキングの信頼できる方法と考えられているが、透明性に関する懸念がある。
比較項目のランクを決定するために,CJ (BCJ) に対する新しいベイズ的アプローチを提案する。
- 参考スコア（独自算出の注目度）: 3.0098452499209705
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Assessment is a crucial part of education. Traditional marking is a source of
inconsistencies and unconscious bias, placing a high cognitive load on the
assessors. An approach to address these issues is comparative judgement (CJ).
In CJ, the assessor is presented with a pair of items and is asked to select
the better one. Following a series of comparisons, a rank is derived using a
ranking model, for example, the BTM, based on the results. While CJ is
considered a reliable method for marking, there are concerns around
transparency, and the ideal number of pairwise comparisons to generate a
reliable estimation of the rank order is not known. Additionally, there have
been attempts to generate a method of selecting pairs that should be compared
next in an informative manner, but some existing methods are known to have
created their own bias within results inflating the reliability metric used. As
a result, a random selection approach is usually deployed.
We propose a novel Bayesian approach to CJ (BCJ) for determining the ranks of
compared items alongside a new way to select the pairs to present to the
marker(s) using active learning (AL), addressing the key shortcomings of
traditional CJ. Furthermore, we demonstrate how the entire approach may provide
transparency by providing the user insights into how it is making its decisions
and, at the same time, being more efficient. Results from our experiments
confirm that the proposed BCJ combined with entropy-driven AL pair-selection
method is superior to other alternatives. We also find that the more
comparisons done, the more accurate BCJ becomes, which solves the issue the
current method has of the model deteriorating if too many comparisons are
performed. As our approach can generate the complete predicted rank
distribution for an item, we also show how this can be utilised in devising a
predicted grade, guided by the assessor.
- Abstract（参考訳）: 評価は教育の重要な部分である。
伝統的なマーキングは不整合と無意識のバイアスの源であり、評価者に高い認知的負荷を与える。
これらの問題に対処するアプローチとして、比較判断(CJ)がある。
CJでは、評価者には2つのアイテムが提示され、より良いものを選択するように求められます。
一連の比較の後、結果に基づいてランキングモデル、例えばbtmを用いてランクが導出される。
cjは信頼できるマーキング方法と考えられているが、透明性に関する懸念があり、ランクの順序の信頼できる推定を生成するためのペアワイズ比較の理想的な数は分かっていない。
さらに、次に情報的手法で比較すべきペアを選択する方法を生成する試みもあるが、既存の方法によっては、使用した信頼性指標を膨らませる結果に独自のバイアスが生じることが知られている。
結果として、ランダム選択アプローチは通常デプロイされる。
本稿では,従来のcjの重要な欠点に対処して,マーカーに提示するペアを選択する新しい方法とともに,比較項目のランクを決定するcj (bcj) に対する新しいベイズ的アプローチを提案する。
さらに、その意思決定方法に関する洞察を提供し、同時に、より効率的であることによって、アプローチ全体が透明性を提供する方法も示します。
実験の結果,提案手法とエントロピー駆動型ALペア選択法の組み合わせは,他の方法よりも優れていることがわかった。
また, 比較を行うほど, BCJ がより正確になるので, 比較が多すぎる場合, モデルが持つ現在の手法が劣化する問題を解くことができる。
提案手法は,アイテムのランク分布を予測できるため,評価者によって導かれる予測等級の考案にも有効であることを示す。
関連論文リスト
- Different Horses for Different Courses: Comparing Bias Mitigation Algorithms in ML [9.579645248339004]
いくつかのアルゴリズムが達成した公正度に有意なばらつきを示し、学習パイプラインが公正度スコアに与える影響を明らかにした。
ほとんどのバイアス軽減技術は同等のパフォーマンスを実現することができると強調する。
私たちの研究は、アルゴリズムの開発ライフサイクルにおける様々な選択が公正性にどのように影響するか、将来の研究を促進することを願っています。
論文 参考訳（メタデータ） (2024-11-17T15:17:08Z) - Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation [6.979979613916754]
ニュースレコメンデーションは、各ユーザのインタラクション履歴と好みに基づいてパーソナライズを行う、困難なタスクである。
最近の研究は、事前学習された言語モデル(PLM)の力を利用して、ニュース項目を直接ランク付けする手法を用いて、ポイントワイド、ペアワイド、リストワイドの3つのカテゴリに分類している。
本稿では,PLMに基づくニュースレコメンデーションのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-26T10:27:19Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - Crowdsourcing subjective annotations using pairwise comparisons reduces
bias and error compared to the majority-vote method [0.0]
本稿では,ランダムな誤差と測定バイアスが,主観的構成物のクラウドソースアノテーションにどのように入るかを理解するための理論的枠組みを提案する。
次に、Eloスコアとペア比較ラベリングを組み合わせたパイプラインを提案し、両種類の測定誤差を低減するために、ユビキタスな多数投票法より優れていることを示す。
論文 参考訳（メタデータ） (2023-05-31T17:14:12Z) - Recommendation Systems with Distribution-Free Reliability Guarantees [83.80644194980042]
我々は、主に良いアイテムを含むことを厳格に保証されたアイテムのセットを返す方法を示す。
本手法は, 擬似発見率の厳密な有限サンプル制御によるランキングモデルを提供する。
我々はYahoo!のランキングとMSMarcoデータセットの学習方法を評価する。
論文 参考訳（メタデータ） (2022-07-04T17:49:25Z) - Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。
本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。
パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
論文 参考訳（メタデータ） (2021-11-25T06:04:59Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - Taking the Counterfactual Online: Efficient and Unbiased Online
Evaluation for Ranking [74.46448041224247]
データロギングのポリシーを最適化する新しいロギング・ポリシ最適化アルゴリズム(LogOpt)を導入する。
LogOptは、ログポリシーに無関係な反ファクト的なアプローチをオンラインアプローチに変換し、アルゴリズムが表示すべきランキングを決定する。
オンライン評価手法として、LogOptは既存のインターリービング方法とは異なり、位置と項目選択バイアスに偏りがないことが証明されている。
論文 参考訳（メタデータ） (2020-07-24T18:05:58Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳（メタデータ） (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。