論文の概要: Can LLMs Rank? A Tale of Triads and Triage

• arxiv url: http://arxiv.org/abs/2606.30412v1
• Date: Mon, 29 Jun 2026 14:59:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.291953
• Title: Can LLMs Rank? A Tale of Triads and Triage
• Title（参考訳）: LLMランキングは可能か? トライアドとトライエイジの物語
• Abstract要約: 一貫性を識別する2つの異なる方法について議論する。 古典的な診断法、すなわち一貫性係数$$は、もともとトーナメントグラフの円形トライアドを数えて判断信頼性を測定するために開発された。 ケンドールの$$のような、ランキング間の距離の様々な標準測度は、実行間変動を測定することができる。 ホームレスサービスアロケーションと救急部門トリアージの2つの高い優先順位付けタスクにおいて,結果の実用的重要性を実証する。
• 参考スコア（独自算出の注目度）: 10.76443470676701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From housing allocation for households experiencing homelessness to triage in emergency departments, LLMs are increasingly being considered as judges of consequential decisions that require ranking people for scarce resources. Ranking large groups simultaneously is cognitively demanding and error-prone. A natural solution, drawing on decades of social choice theory, elicits pairwise comparisons and aggregates them into a total order. However, a fundamental question remains when LLMs serve as the pairwise judge: how can a practitioner tell, before committing to a ranking, whether the LLM's judgments are sufficiently consistent to trust the result? We discuss two different ways of identifying consistency. A classical diagnostic, the coefficient of consistency $ζ$, originally developed to measure judge reliability by counting circular triads in tournament graphs, provides a cheap, model-free measure of intra-run consistency. Various standard measures of distance between rankings, for example Kendall's $τ$, can measure inter-run variability. We show, in both theory and practice, that these measures are independently valuable, and advocate for using both to assess reliability of rankings. We demonstrate the practical importance of our results across two high-stakes prioritization tasks: homelessness service allocation and emergency department triage. Three different leading LLMs have considerably different performance profiles across these two axes of consistency. We provide guidelines for how practitioners could think about measuring and assessing consistency before committing to a model for ranking or prioritization.
• Abstract（参考訳）: ホームレスを経験する家庭の住宅割当てから、救急部門でのトリアージまで、LLMは人材不足を判断する連続的な判断の裁判官として、ますます重要視されている。 大きなグループを同時にランク付けすることは、認知的に要求され、エラーを起こします。 何十年にもわたっての社会的選択理論に基づく自然な解は、ペアワイズ比較を導き、それらを全順序に集約する。 しかし、LLMがペアワイズ・ジャッジとして機能する場合、根本的な疑問が残る: LLMの判断が結果の信頼に十分整合しているかどうかを、実践者がランキングにコミットする前にどのように判断することができるか。 一貫性を識別する2つの異なる方法について議論する。 古典的な診断法、すなわち一貫性係数は、もともとトーナメントグラフの円三重項を数えて判断信頼性を測るために開発されたもので、より安価で、ラン内一貫性のモデルなし測度を提供する。 ケンドールの$τ$のような、ランキング間の距離の様々な標準測度は、実行間変動を測定することができる。 理論と実践の両方において、これらの尺度は独立して価値があることを示し、ランク付けの信頼性を評価するために両方を使うことを提唱する。 ホームレスサービスアロケーションと救急部門トリアージの2つの高い優先順位付けタスクにおいて,結果の実用的重要性を実証する。 3つの異なるLLMは、これらの2つの一貫性の軸に対して、かなり異なるパフォーマンスプロファイルを持つ。 ランク付けや優先順位付けのモデルにコミットする前に,一貫性の測定と評価について,実践者がどのように考えることができるか,というガイドラインを提供する。

関連論文リスト

• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• Can LLM Rerankers Predict Their Own Ranking Performance? [73.21268576961573]
  テキスト・リランカ内部QPPについて検討し, LLMリランカが生成したランキングの質を推定できるか? 学習自由度推定には, サンプルランキング間の距離特異な自己整合性と, リランカが直接生成する言語的信頼度を検討した。 TREC Deep Learning 2019--2022の4つのLCMによる実験では、自己整合性は最先端(SOTA)アプローチと競合し、ほぼすべての設定でキャリブレーションが向上している。 言語的信頼を改善するために,2つの教師付き方法,Verbを提案する。
  論文  参考訳（メタデータ） (2026-06-02T11:57:27Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• A Judge-Aware Ranking Framework for Evaluating Large Language Models without Ground Truth [4.9467757325435775]
  大規模言語モデル(LLM)をオープンなタスクで評価することは、LLM-as-a-judgeパラダイムを通じてますます行われています。 すべての裁判官を平等に扱うことは、偏見のあるリーダーボードを生み出し、不確実性の推定を誤解させる可能性がある。 そこで本研究では,Bradley-Terry-Luceモデルを拡張し,判定固有の識別パラメータを導入することにより,判定対応のランキングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T15:01:28Z)
• Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks [4.757470449749876]
  大規模言語モデル (LLM) は, 異なるランニングにおいて, 割り当てられたスコアの信頼性が低いことを示す。 この分散は、最悪の場合、彼らのレーティングに一貫性がなく、ほぼ任意である。 我々は、異なるNLGタスクやベンチマーク間でこの矛盾を定量化し、LLM審査員の司法的利用が適切なガイドラインに従って有用であるかどうかを確認する。
  論文  参考訳（メタデータ） (2025-10-31T02:06:37Z)
• HALF: Harm-Aware LLM Fairness Evaluation Aligned with Deployment [52.374772443536045]
  HALF(Harm-Aware LLM Fairness)は、現実的なアプリケーションにおけるモデルバイアスを評価し、有害度によって結果を評価するフレームワークである。 HALFは、以前のベンチマークの成功とデプロイメントの準備の整合性の間に明らかなギャップがあることを示します。
  論文  参考訳（メタデータ） (2025-10-14T07:13:26Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Judging LLMs on a Simplex [2.088672652658465]
  一般的な実践は、大言語モデル(LLM)自体を裁判官として使用することであるが、このアプローチの理論的性質はまだよく理解されていない。 判定と候補の両方を確率的単純度上の点として表現する幾何学的枠組みは,何であるか,何であるかを識別できないのか,有用な知見を提供することができる。
  論文  参考訳（メタデータ） (2025-05-28T04:50:41Z)
• Ethical AI on the Waitlist: Group Fairness Evaluation of LLM-Aided Organ Allocation [19.66750942418172]
  オルガンアロケーションをケーススタディとして,(1)選択1と(2)ランクオールの2つのタスクを紹介した。 ランクオールでは、LLMは腎臓の全ての候補をランク付けし、実際の割り当てプロセスを反映している。 従来の公正度指標はランク付けを考慮しないため、バイアスを捉えるためにボルダスコアの新たな応用を提案する。
  論文  参考訳（メタデータ） (2025-03-29T04:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。