論文の概要: Unsupervised Contrast-Consistent Ranking with Language Models
- arxiv url: http://arxiv.org/abs/2309.06991v2
- Date: Sat, 3 Feb 2024 05:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:20:29.811511
- Title: Unsupervised Contrast-Consistent Ranking with Language Models
- Title(参考訳): 言語モデルを用いた教師なしコントラスト一貫性ランキング
- Authors: Niklas Stoehr, Pengxiang Cheng, Jing Wang, Daniel Preotiuc-Pietro,
Rajarshi Bhowmik
- Abstract要約: 言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。
我々は、言語モデルのランキング知識を引き出すために、ペアワイズ、ポイントワイズ、リストワイズの各テクニックを比較した。
注意深いキャリブレーションと制約付きデコーディングであっても、プロンプトベースのテクニックは、必ずしもそれらが生成するランキングにおいて自己整合であるとは限らない。
- 参考スコア(独自算出の注目度): 24.696017700382665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models contain ranking-based knowledge and are powerful solvers of
in-context ranking tasks. For instance, they may have parametric knowledge
about the ordering of countries by size or may be able to rank product reviews
by sentiment. We compare pairwise, pointwise and listwise prompting techniques
to elicit a language model's ranking knowledge. However, we find that even with
careful calibration and constrained decoding, prompting-based techniques may
not always be self-consistent in the rankings they produce. This motivates us
to explore an alternative approach that is inspired by an unsupervised probing
method called Contrast-Consistent Search (CCS). The idea is to train a probe
guided by a logical constraint: a language model's representation of a
statement and its negation must be mapped to contrastive true-false poles
consistently across multiple statements. We hypothesize that similar
constraints apply to ranking tasks where all items are related via consistent,
pairwise or listwise comparisons. To this end, we extend the binary CCS method
to Contrast-Consistent Ranking (CCR) by adapting existing ranking methods such
as the Max-Margin Loss, Triplet Loss and an Ordinal Regression objective.
Across different models and datasets, our results confirm that CCR probing
performs better or, at least, on a par with prompting.
- Abstract(参考訳): 言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。
例えば、国家の規模による注文に関するパラメトリック知識を持つか、あるいは感情による製品レビューをランク付けすることができる。
言語モデルのランキング知識を引き出すために,ペアワイズ,ポイントワイズ,リストワイズの各手法を比較した。
しかし,注意深いキャリブレーションと制約付きデコードでは,プロンプトベースの手法が必ずしもランキングに一貫性を持つとは限らない。
これは、Contrast-Consistent Search (CCS)と呼ばれる教師なしの探索手法にインスパイアされた代替手法を探る動機となっている。
言語モデルのステートメントの表現とその否定は、複数のステートメントを一貫して横断する対照的な真偽極にマッピングされなければならない。
同様の制約は、すべての項目が一貫性、ペアワイズ、リストワイズの比較によって関連づけられるランキングタスクに適用できると仮定する。
この目的のために,最大マージン損失,三重項損失,順序回帰目標といった既存のランキング手法を適応させることにより,2次ccs法をコントラスト一貫性ランキング(ccr)へ拡張する。
異なるモデルとデータセット間で、我々の結果は、CCRの探索がプロンプトと同等または少なくとも同等に、より良く動作することを確認した。
関連論文リスト
- Sifting through the Chaff: On Utilizing Execution Feedback for Ranking the Generated Code Candidates [46.74037090843497]
大規模言語モデル(LLM)は、自然言語記述に基づいたコードの自動生成によって、開発者がプログラミングにアプローチする方法を変えつつある。
本稿では,実行フィードバックを活用するコードランキングの革新的なアプローチである RankEF について述べる。
3つのコード生成ベンチマークの実験では、RanEFが最先端のCodeRankerよりも大幅に優れていることが示されている。
論文 参考訳(メタデータ) (2024-08-26T01:48:57Z) - LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking [17.96316956366718]
大規模言語モデル(LLM)によるランク付けは、現代の情報検索(IR)システムにおいて有望な性能を達成することができる。
ソートに基づく手法では、パスを正しくソートするには一貫した比較が必要であり、LCMがしばしば違反することを示す。
LLMベースのランキングフレームワークであるLLM-RankFusionを提案する。
論文 参考訳(メタデータ) (2024-05-31T23:29:42Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳(メタデータ) (2023-10-11T17:59:02Z) - Replace Scoring with Arrangement: A Contextual Set-to-Arrangement
Framework for Learning-to-Rank [40.81502990315285]
ラーニング・トゥ・ランク(Learning-to-rank)は、トップNレコメンデーションタスクの中核的なテクニックであり、理想的なランク付けはアイテムからアレンジへのマッピングである。
既存のソリューションのほとんどは確率的ランキング原理(PRP)のパラダイムに該当する。すなわち、まず候補セットで各項目をスコアし、次にソート操作を行い、トップランキングリストを生成する。
本稿では,個別のスコアリングやソートを必要とせずに,候補項目の順列を直接生成する新しいフレームワークであるSet-To-Arrangement Ranking (STARank)を提案する。
論文 参考訳(メタデータ) (2023-08-05T12:22:26Z) - RankCSE: Unsupervised Sentence Representations Learning via Learning to
Rank [54.854714257687334]
本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。
コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。
セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
論文 参考訳(メタデータ) (2023-05-26T08:27:07Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z) - Discovering Non-monotonic Autoregressive Orderings with Variational
Inference [67.27561153666211]
我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。
エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。
言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
論文 参考訳(メタデータ) (2021-10-27T16:08:09Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳(メタデータ) (2020-12-12T05:07:36Z) - CycAs: Self-supervised Cycle Association for Learning Re-identifiable
Descriptions [61.724894233252414]
本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。
既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。
疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
論文 参考訳(メタデータ) (2020-07-15T09:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。