論文の概要: EZ-Sort: Efficient Pairwise Comparison via Zero-Shot CLIP-Based Pre-Ordering and Human-in-the-Loop Sorting

• arxiv url: http://arxiv.org/abs/2508.21550v1
• Date: Fri, 29 Aug 2025 12:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:11.029747
• Title: EZ-Sort: Efficient Pairwise Comparison via Zero-Shot CLIP-Based Pre-Ordering and Human-in-the-Loop Sorting
• Title（参考訳）: EZ-Sort: Zero-Shot CLIP-based Pre-orderingとHuman-in-the-Loop Sortingによる効率よく比較する
• Authors: Yujin Park, Haejun Chung, Ikbeom Jang,
• Abstract要約: ペアワイズ比較は、主観的または難しいアノテーションタスクにおける絶対評価や順序分類よりも好まれることが多い。 最近の研究は、ソートアルゴリズムを用いてペアワイズ比較を積極的にサンプリングすることで、アノテーションの負担(O(n log n))を大幅に減らした。 さらに,(1)コントラスト言語-画像事前学習(CLIP)モデルを用いて項目を概ね事前注文し,(2)手軽で明白な比較を自動比較に置き換えることで,アノテーションの効率を向上する。
• 参考スコア（独自算出の注目度）: 0.5861893391102716
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pairwise comparison is often favored over absolute rating or ordinal classification in subjective or difficult annotation tasks due to its improved reliability. However, exhaustive comparisons require a massive number of annotations (O(n^2)). Recent work has greatly reduced the annotation burden (O(n log n)) by actively sampling pairwise comparisons using a sorting algorithm. We further improve annotation efficiency by (1) roughly pre-ordering items using the Contrastive Language-Image Pre-training (CLIP) model hierarchically without training, and (2) replacing easy, obvious human comparisons with automated comparisons. The proposed EZ-Sort first produces a CLIP-based zero-shot pre-ordering, then initializes bucket-aware Elo scores, and finally runs an uncertainty-guided human-in-the-loop MergeSort. Validation was conducted using various datasets: face-age estimation (FGNET), historical image chronology (DHCI), and retinal image quality assessment (EyePACS). It showed that EZ-Sort reduced human annotation cost by 90.5% compared to exhaustive pairwise comparisons and by 19.8% compared to prior work (when n = 100), while improving or maintaining inter-rater reliability. These results demonstrate that combining CLIP-based priors with uncertainty-aware sampling yields an efficient and scalable solution for pairwise ranking.
• Abstract（参考訳）: ペアワイズ比較は、信頼性の向上により、主観的または困難なアノテーションタスクにおける絶対評価や順序分類よりも好まれることが多い。 しかし、徹底的な比較は大量のアノテーションを必要とする(O(n^2))。 最近の研究は、ソートアルゴリズムを用いてペアワイズ比較を積極的にサンプリングすることで、アノテーションの負担(O(n log n))を大幅に減らした。 さらに,(1)コントラスト言語-画像事前学習(CLIP)モデルを用いて項目を概ね事前注文し,(2)手軽で明白な比較を自動比較に置き換えることで,アノテーションの効率を向上する。 提案したEZ-Sortは、まずCLIPベースのゼロショットプレオーダーを生成し、その後、バケットを意識したEloスコアを初期化し、最後に不確実性のあるイン・ザ・ループのMergeSortを実行する。 フェースエイジ推定(FGNET)、ヒストリカル・イメージ・クロノロジー(DHCI)、網膜画像品質評価(EyePACS)の様々なデータセットを用いて検証を行った。 その結果、EZ-Sortは、徹底的なペアワイズ比較と比較して、人間のアノテーションコストを90.5%削減し、以前の作業(n = 100)と比べて19.8%削減し、また、信頼性の向上や信頼性維持を図った。 これらの結果から,CLIPをベースとした先行値と不確実性を考慮したサンプリングを組み合わせれば,ペアランキングの効率的かつスケーラブルな解が得られることが示された。

関連論文リスト

• Using tournaments to calculate AUROC for zero-shot classification with LLMs [4.270472870948892]
  大規模な言語モデルは、多くのゼロショット分類タスクで驚くほどよく機能する。 本稿では,バイナリ分類タスクをペアワイズ比較タスクに変換する手法を提案し,評価する。 繰り返しペアワイズ比較は、Eloレーティングシステムを使用してインスタンスのスコア付けに使用することができる。
  論文  参考訳（メタデータ） (2025-02-20T20:13:20Z)
• Active Preference Learning for Ordering Items In- and Out-of-sample [7.0774164818430565]
  アイテムペアを積極的にサンプリングすることで、正確な順序付けを学ぶのに必要なアノテーションの数を減らすことができる。 多くのアルゴリズムはアイテム間の共有構造を無視している。 また、比較におけるノイズがアイテムペア間でどのように変化するかは無視することが一般的である。
  論文  参考訳（メタデータ） (2024-05-05T21:44:03Z)
• Sorting with Predictions [1.7042264000899532]
  学習強化アルゴリズムのレンズをソートする根本的な問題について検討する。 我々は,$O(sum_i log eta_i)$の正確な比較だけで,新しい,シンプルなアルゴリズムを設計する。 比較複雑性は, 検証された誤差測度に対して理論的に最適であることを示す。
  論文  参考訳（メタデータ） (2023-11-01T18:00:03Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Learning by Sorting: Self-supervised Learning with Group Ordering Constraints [75.89238437237445]
  本稿では,対照学習目標である群順序制約(GroCo)の新たなバリエーションを提案する。 正の対と負の対の距離をソートし、正の対が負の対よりも多くの距離を持つかに基づいてそれぞれの損失を計算するという考え方を利用しており、したがって正しく順序付けされていない。 各種自己教師付き学習ベンチマークの定式化について検討し、バニラのコントラスト学習と比較して結果が向上するだけでなく、k-NNの性能において、線形探索や性能向上において同等の手法と競合する性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-01-05T11:17:55Z)
• Decreasing Annotation Burden of Pairwise Comparisons with Human-in-the-Loop Sorting: Application in Medical Image Artifact Rating [3.5314411880556063]
  ペア比較によるランキングでは、順序分類よりも信頼性が向上している。 本稿では,定量的な測定値によってランク付けに必要なペアワイズ比較数を減少させる手法を提案する。
  論文  参考訳（メタデータ） (2022-02-10T04:02:45Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons [85.5955376526419]
  ランキングアグリゲーション問題では、各項目を比較する際に、様々な精度レベルが示される。 本稿では,ノイズのあるペアワイズ比較によってアイテムのランクを推定する,除去に基づくアクティブサンプリング戦略を提案する。 提案アルゴリズムは,商品の真のランキングを高い確率で返却できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T13:51:55Z)
• Ranking a set of objects: a graph based least-square approach [70.7866286425868]
  同一労働者の群集によるノイズの多いペアワイズ比較から始まる$N$オブジェクトのランク付けの問題について考察する。 品質評価のために,最小二乗内在的最適化基準に依存する非適応的ランキングアルゴリズムのクラスを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。