論文の概要: Using tournaments to calculate AUROC for zero-shot classification with LLMs

• arxiv url: http://arxiv.org/abs/2502.15018v1
• Date: Thu, 20 Feb 2025 20:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:58.532837
• Title: Using tournaments to calculate AUROC for zero-shot classification with LLMs
• Title（参考訳）: LLMを用いたゼロショット分類におけるトーナメントを用いたAUROC計算
• Authors: Wonjin Yoon, Ian Bulovic, Timothy A. Miller,
• Abstract要約: 大規模な言語モデルは、多くのゼロショット分類タスクで驚くほどよく機能する。 本稿では,バイナリ分類タスクをペアワイズ比較タスクに変換する手法を提案し,評価する。 繰り返しペアワイズ比較は、Eloレーティングシステムを使用してインスタンスのスコア付けに使用することができる。
• 参考スコア（独自算出の注目度）: 4.270472870948892
• License:
• Abstract: Large language models perform surprisingly well on many zero-shot classification tasks, but are difficult to fairly compare to supervised classifiers due to the lack of a modifiable decision boundary. In this work, we propose and evaluate a method that converts binary classification tasks into pairwise comparison tasks, obtaining relative rankings from LLMs. Repeated pairwise comparisons can be used to score instances using the Elo rating system (used in chess and other competitions), inducing a confidence ordering over instances in a dataset. We evaluate scheduling algorithms for their ability to minimize comparisons, and show that our proposed algorithm leads to improved classification performance, while also providing more information than traditional zero-shot classification.
• Abstract（参考訳）: 大規模言語モデルは、多くのゼロショット分類タスクにおいて驚くほどよく機能するが、修正可能な決定境界がないため、教師付き分類器と比較することは困難である。 本研究では,2値分類タスクをペア比較タスクに変換する手法を提案し,LLMから相対ランクを求める。 繰り返しペアワイズ比較は、Eloレーティングシステム(チェスやその他の競争で使用される)を使用して、データセットのインスタンスに対して信頼性を順序付けするインスタンスのスコア付けに使用することができる。 比較を最小化するためのスケジューリングアルゴリズムを評価し,提案アルゴリズムが従来のゼロショット分類よりも多くの情報を提供しながら,分類性能の向上につながることを示す。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons [85.5955376526419]
  ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。 本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。 提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:51:55Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms [0.8376091455761261]
  このフレームワーク内の多くの分類モデルが混合整数凸プログラムとして再キャストできることを示した。 そして,提案問題において,分類結果の「解決不能な部分データ選択」が強く解決可能であることを示す。 これにより、分類インスタンスを解決するための反復精錬戦略(IRS)の開発を動機付けます。
  論文  参考訳（メタデータ） (2020-12-22T21:09:38Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)
• Optimal Clustering from Noisy Binary Feedback [75.17453757892152]
  本稿では,二元的ユーザフィードバックから一組のアイテムをクラスタリングする問題について検討する。 最小クラスタ回復誤差率のアルゴリズムを考案する。 適応選択のために,情報理論的誤差下界の導出にインスパイアされたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2019-10-14T09:18:26Z)
• An Unsupervised Learning Classifier with Competitive Error Performance [0.0]
  このモデルは、選択された識別超平面上での小さなステップシフトと回転操作の漸進的な実行に基づいている。 ImageNetデータセットベンチマークのサブセットに選択された特徴抽出器と共に適用すると、エラーの確率は6.2 %になる。 この結果は、同じデータセットで事実上役に立たないことを示すk-Meansのような、一般的な教師なし学習スキームとも対照的である。
  論文  参考訳（メタデータ） (2018-06-25T11:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。