論文の概要: Found in the Middle: Permutation Self-Consistency Improves Listwise
Ranking in Large Language Models
- arxiv url: http://arxiv.org/abs/2310.07712v1
- Date: Wed, 11 Oct 2023 17:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 21:18:24.981690
- Title: Found in the Middle: Permutation Self-Consistency Improves Listwise
Ranking in Large Language Models
- Title(参考訳): 中央にある: 置換自己一貫性は大規模言語モデルにおけるリストワイズランキングを改善する
- Authors: Raphael Tang, Xinyu Zhang, Xueguang Ma, Jimmy Lin, Ferhan Ture
- Abstract要約: 大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
- 参考スコア(独自算出の注目度): 68.35601781169424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) exhibit positional bias in how they use context,
which especially complicates listwise ranking. To address this, we propose
permutation self-consistency, a form of self-consistency over ranking list
outputs of black-box LLMs. Our key idea is to marginalize out different list
orders in the prompt to produce an order-independent ranking with less
positional bias. First, given some input prompt, we repeatedly shuffle the list
in the prompt and pass it through the LLM while holding the instructions the
same. Next, we aggregate the resulting sample of rankings by computing the
central ranking closest in distance to all of them, marginalizing out prompt
order biases in the process. Theoretically, we prove the robustness of our
method, showing convergence to the true ranking in the presence of random
perturbations. Empirically, on five list-ranking datasets in sorting and
passage reranking, our approach improves scores from conventional inference by
up to 7-18% for GPT-3.5 and 8-16% for LLaMA v2 (70B), surpassing the previous
state of the art in passage reranking. Our code is at
https://github.com/castorini/perm-sc.
- Abstract(参考訳): 大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示し、特にリストのランキングを複雑にする。
そこで我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
私たちのキーとなるアイデアは、位置バイアスの少ない注文非依存のランキングを生成するプロンプトにおいて、異なるリストの注文をマージすることです。
まず、入力プロンプトが与えられたら、プロンプト内のリストを何度もシャッフルして、命令を同じに保持しながらLSMに渡します。
次に、得られたランキングのサンプルを、それらすべてに最も近い中央ランクを計算して集約し、プロセスの即時順序バイアスを和らげる。
理論的には,提案手法の頑健さを証明し,ランダム摂動の存在下での真のランクへの収束を示す。
経験的に, 5つのリストランキングデータセットにおいて, gpt-3.5では最大7-18%, llama v2 (70b) では8-16%のスコア改善を行い, それまでのパスリランキングを上回った。
私たちのコードはhttps://github.com/castorini/perm-scです。
関連論文リスト
- LiPO: Listwise Preference Optimization through Learning-to-Rank [63.69441506085566]
本稿では,リストワイズ優先最適化(LiPO)フレームワークについて述べる。このフレームワークでは,評価可能な応答のランクリストから,ポリシーをより効率的に学習することができる。
2つの選好アライメントタスクにおいて,LiPO-lambdaがDPOとSLiCよりも明確なマージンで優れていることを示す。
論文 参考訳(メタデータ) (2024-02-02T20:08:10Z) - Unsupervised Contrast-Consistent Ranking with Language Models [24.696017700382665]
言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。
我々は、言語モデルのランキング知識を引き出すために、ペアワイズ、ポイントワイズ、リストワイズの各テクニックを比較した。
注意深いキャリブレーションと制約付きデコーディングであっても、プロンプトベースのテクニックは、必ずしもそれらが生成するランキングにおいて自己整合であるとは限らない。
論文 参考訳(メタデータ) (2023-09-13T14:36:26Z) - Improved theoretical guarantee for rank aggregation via spectral method [1.0152838128195467]
複数の項目間のペアワイズ比較を与えられた場合、ランキングが観測値と一致するようにランク付けする方法?
ランクアグリゲーションとして知られるこの問題は、スポーツ、レコメンデーションシステム、その他のウェブアプリケーションに多くの応用を見出している。
ここで、各ペア比較は真のスコア差の破損したコピーである。
論文 参考訳(メタデータ) (2023-09-07T16:01:47Z) - Replace Scoring with Arrangement: A Contextual Set-to-Arrangement
Framework for Learning-to-Rank [40.81502990315285]
ラーニング・トゥ・ランク(Learning-to-rank)は、トップNレコメンデーションタスクの中核的なテクニックであり、理想的なランク付けはアイテムからアレンジへのマッピングである。
既存のソリューションのほとんどは確率的ランキング原理(PRP)のパラダイムに該当する。すなわち、まず候補セットで各項目をスコアし、次にソート操作を行い、トップランキングリストを生成する。
本稿では,個別のスコアリングやソートを必要とせずに,候補項目の順列を直接生成する新しいフレームワークであるSet-To-Arrangement Ranking (STARank)を提案する。
論文 参考訳(メタデータ) (2023-08-05T12:22:26Z) - Partitioned Saliency Ranking with Dense Pyramid Transformers [4.449304130658638]
サリエンシランキングは、インスタンスレベルのサリエンシの度合いを評価することに焦点を当てた、挑戦的なタスクとして登場した。
従来のアプローチでは、固有の曖昧さを明示的に解決していない有能なインスタンスのランクスコアを直接ソートすることで、サリエンシのランク付けを行っている。
本稿では,非順序の有意なインスタンスをパーティションに分割し,それらのパーティション間の相関に基づいてランク付けするパーティション・バイ・パーティション・パラダイムを提案する。
論文 参考訳(メタデータ) (2023-08-01T02:33:10Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳(メタデータ) (2023-07-27T07:42:44Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳(メタデータ) (2022-12-21T04:49:55Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳(メタデータ) (2020-12-12T05:07:36Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳(メタデータ) (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。