論文の概要: Unsupervised Contrast-Consistent Ranking with Language Models

• arxiv url: http://arxiv.org/abs/2309.06991v1
• Date: Wed, 13 Sep 2023 14:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 13:49:56.742608
• Title: Unsupervised Contrast-Consistent Ranking with Language Models
• Title（参考訳）: 言語モデルを用いた教師なしコントラスト一貫性ランキング
• Authors: Niklas Stoehr, Pengxiang Cheng, Jing Wang, Daniel Preotiuc-Pietro, Rajarshi Bhowmik
• Abstract要約: 言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。 最近の研究は、ペアワイズ、ポイントワイズ、リストワイズに重点を置いており、言語モデルのランキング知識を引き出すためのテクニックを推進している。 本稿では,Contrast-Consistent Searchと呼ばれる教師なし探索手法にヒントを得た代替手法を提案する。
• 参考スコア（独自算出の注目度）: 24.696017700382665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models contain ranking-based knowledge and are powerful solvers of in-context ranking tasks. For instance, they may have parametric knowledge about the ordering of countries by size or may be able to rank reviews by sentiment. Recent work focuses on pairwise, pointwise, and listwise prompting techniques to elicit a language model's ranking knowledge. However, we find that even with careful calibration and constrained decoding, prompting-based techniques may not always be self-consistent in the rankings they produce. This motivates us to explore an alternative approach that is inspired by an unsupervised probing method called Contrast-Consistent Search (CCS). The idea is to train a probing model guided by a logical constraint: a model's representation of a statement and its negation must be mapped to contrastive true-false poles consistently across multiple statements. We hypothesize that similar constraints apply to ranking tasks where all items are related via consistent pairwise or listwise comparisons. To this end, we extend the binary CCS method to Contrast-Consistent Ranking (CCR) by adapting existing ranking methods such as the Max-Margin Loss, Triplet Loss, and Ordinal Regression objective. Our results confirm that, for the same language model, CCR probing outperforms prompting and even performs on a par with prompting much larger language models.
• Abstract（参考訳）: 言語モデルはランキングベースの知識を含み、コンテキスト内ランキングタスクの強力な解法である。 例えば、国家の規模による秩序に関するパラメトリックな知識を持つか、あるいは感情によるレビューをランク付けすることができる。 最近の研究は、ペアワイズ、ポイントワイズ、リストワイズに焦点を合わせ、言語モデルのランキング知識を引き出すテクニックを推進している。 しかし,注意深いキャリブレーションと制約付きデコードでは,プロンプトベースの手法が必ずしもランキングに一貫性を持つとは限らない。 これは、Contrast-Consistent Search (CCS)と呼ばれる教師なしの探索手法にインスパイアされた代替手法を探る動機となっている。 その考え方は、論理的制約によって導かれる探索モデルを訓練することであり、モデルのステートメントの表現とその否定は、複数のステートメントにわたって一貫して対照的な真偽極にマッピングされなければならない。 同様の制約は、すべての項目が一貫性のあるペアワイズまたはリストワイズ比較によって関連づけられるランキングタスクに適用できると仮定する。 この目的のために,最大マージン損失,三重項損失,順序回帰目標といった既存のランキング手法を適応させることにより,コントラスト一貫性ランキング(ccr)へバイナリccs法を拡張する。 以上の結果から,同じ言語モデルの場合,CCRが性能を向上し,さらに大きな言語モデルで性能を向上することを確認した。

関連論文リスト

• TSPRank: Bridging Pairwise and Listwise Methods with a Bilinear Travelling Salesman Model [19.7255072094322]
  トラベリングセールスマン問題ランキング (TSPRank) は、ハイブリッド・ペア・リストワイズ・ランキング法である。 TSPRankの堅牢性と、異なるドメインにわたる優れたパフォーマンスは、汎用的で効果的なLETORソリューションとしての可能性を強調している。
  論文  参考訳（メタデータ） (2024-11-18T21:10:14Z)
• Sifting through the Chaff: On Utilizing Execution Feedback for Ranking the Generated Code Candidates [46.74037090843497]
  大規模言語モデル(LLM)は、自然言語記述に基づいたコードの自動生成によって、開発者がプログラミングにアプローチする方法を変えつつある。 本稿では,実行フィードバックを活用するコードランキングの革新的なアプローチである RankEF について述べる。 3つのコード生成ベンチマークの実験では、RanEFが最先端のCodeRankerよりも大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-08-26T01:48:57Z)
• LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking [17.96316956366718]
  大規模言語モデル(LLM)によるランク付けは、現代の情報検索(IR)システムにおいて有望な性能を達成することができる。 ソートに基づく手法では、パスを正しくソートするには一貫した比較が必要であり、LCMがしばしば違反することを示す。 LLMベースのランキングフレームワークであるLLM-RankFusionを提案する。
  論文  参考訳（メタデータ） (2024-05-31T23:29:42Z)
• Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
  大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。 我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。 LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
  論文  参考訳（メタデータ） (2023-10-11T17:59:02Z)
• Replace Scoring with Arrangement: A Contextual Set-to-Arrangement Framework for Learning-to-Rank [40.81502990315285]
  ラーニング・トゥ・ランク(Learning-to-rank)は、トップNレコメンデーションタスクの中核的なテクニックであり、理想的なランク付けはアイテムからアレンジへのマッピングである。 既存のソリューションのほとんどは確率的ランキング原理(PRP)のパラダイムに該当する。すなわち、まず候補セットで各項目をスコアし、次にソート操作を行い、トップランキングリストを生成する。 本稿では,個別のスコアリングやソートを必要とせずに,候補項目の順列を直接生成する新しいフレームワークであるSet-To-Arrangement Ranking (STARank)を提案する。
  論文  参考訳（メタデータ） (2023-08-05T12:22:26Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• CycAs: Self-supervised Cycle Association for Learning Re-identifiable Descriptions [61.724894233252414]
  本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。 既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。 疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
  論文  参考訳（メタデータ） (2020-07-15T09:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。