論文の概要: Listwise Learning to Rank by Exploring Unique Ratings
- arxiv url: http://arxiv.org/abs/2001.01828v3
- Date: Thu, 23 Jan 2020 01:55:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 20:25:31.025646
- Title: Listwise Learning to Rank by Exploring Unique Ratings
- Title（参考訳）: listwiseがユニークな評価を探求してランク付けを学習
- Authors: Xiaofeng Zhu, Diego Klabjan
- Abstract要約: 既存のリストワイズ学習-ランクモデルは通常、3つの大きな制限を持つ古典的なプラケット・ルーシモデルから導かれる。
本稿では,適応型Vanilla Recurrent Neural Network(RNN)モデルと,前ステップで与えられた文書をプールすることで,予測スコアを改良する手法を提案する。
実験により、これらのモデルは最先端の学習ランクモデルよりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 32.857847595096025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose new listwise learning-to-rank models that mitigate
the shortcomings of existing ones. Existing listwise learning-to-rank models
are generally derived from the classical Plackett-Luce model, which has three
major limitations. (1) Its permutation probabilities overlook ties, i.e., a
situation when more than one document has the same rating with respect to a
query. This can lead to imprecise permutation probabilities and inefficient
training because of selecting documents one by one. (2) It does not favor
documents having high relevance. (3) It has a loose assumption that sampling
documents at different steps is independent. To overcome the first two
limitations, we model ranking as selecting documents from a candidate set based
on unique rating levels in decreasing order. The number of steps in training is
determined by the number of unique rating levels. We propose a new loss
function and associated four models for the entire sequence of weighted
classification tasks by assigning high weights to the selected documents with
high ratings for optimizing Normalized Discounted Cumulative Gain (NDCG). To
overcome the final limitation, we further propose a novel and efficient way of
refining prediction scores by combining an adapted Vanilla Recurrent Neural
Network (RNN) model with pooling given selected documents at previous steps. We
encode all of the documents already selected by an RNN model. In a single step,
we rank all of the documents with the same ratings using the last cell of the
RNN multiple times. We have implemented our models using three settings: neural
networks, neural networks with gradient boosting, and regression trees with
gradient boosting. We have conducted experiments on four public datasets. The
experiments demonstrate that the models notably outperform state-of-the-art
learning-to-rank models.
- Abstract（参考訳）: 本稿では,既存モデルの欠点を緩和する新しいリストワイズ学習-ランクモデルを提案する。
既存のリストワイズ学習-ランクモデルは通常、3つの大きな制限を持つ古典的なプラケット・ルーシモデルに由来する。
1)複数の文書が問合せに関して同一のレーティングを有する状況において、その順列確率が関連性を見落としていること。
これは、文書を1つずつ選択するため、不正確な置換確率と非効率なトレーニングにつながる可能性がある。
2) 関連性の高い文書を好まない。
(3)異なるステップで文書をサンプリングすることは独立であるという緩やかな仮定がある。
最初の2つの制限を克服するために,一意な評価レベルに基づく候補集合から文書を選択する場合のランク付けを順にモデル化する。
トレーニングのステップの数は、ユニークな評価レベルの数によって決定される。
評価の高い文書に重み付けを割り当て、正規化ディスカウント累積ゲイン(ndcg)を最適化することにより、重み付け分類タスク全体の新しい損失関数と関連する4つのモデルを提案する。
最終的な限界を克服するために,適応されたVanilla Recurrent Neural Network(RNN)モデルと,選択した文書を事前ステップでプールすることで,予測スコアを改良する新しい効率的な方法を提案する。
RNNモデルによって選択されたすべての文書を符号化する。
一つのステップで、RNNの最終セルを複数回使用して、すべての文書を同じ評価でランク付けする。
我々は、ニューラルネットワーク、勾配ブースト付きニューラルネットワーク、勾配ブースト付き回帰木という3つの設定でモデルを実装した。
4つの公開データセットについて実験を行った。
実験は、このモデルが最先端の学習とランク付けのモデルを上回ることを実証する。
関連論文リスト
- List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳（メタデータ） (2024-02-05T06:52:53Z) - Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。
移行学習にインスパイアされたアプローチを用いてこの問題に対処する。
本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文 参考訳（メタデータ） (2022-01-18T18:53:10Z) - DapStep: Deep Assignee Prediction for Stack Trace Error rePresentation [61.99379022383108]
本稿では,バグトリアージ問題を解決するための新しいディープラーニングモデルを提案する。
モデルは、注目された双方向のリカレントニューラルネットワークと畳み込みニューラルネットワークに基づいている。
ランキングの質を向上させるために,バージョン管理システムのアノテーションから追加情報を利用することを提案する。
論文 参考訳（メタデータ） (2022-01-14T00:16:57Z) - Few-shot Learning for Topic Modeling [39.56814839510978]
本稿では,少数の文書からトピックモデルを学習可能なニューラルネットワークによる数ショット学習手法を提案する。
提案手法は3つの実世界のテキスト文書集合を用いて既存の手法よりも高いパープレキシティを実現する。
論文 参考訳（メタデータ） (2021-04-19T01:56:48Z) - Pre-training for Abstractive Document Summarization by Reinstating
Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。
2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文 参考訳（メタデータ） (2020-04-04T05:06:26Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z) - Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
本稿では,大規模クエリ文書検索問題について考察する。
クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。
本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
論文 参考訳（メタデータ） (2020-02-10T16:44:00Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。