論文の概要: Beyond [CLS] through Ranking by Generation
- arxiv url: http://arxiv.org/abs/2010.03073v1
- Date: Tue, 6 Oct 2020 22:56:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 07:41:50.986934
- Title: Beyond [CLS] through Ranking by Generation
- Title(参考訳): 世代別ランキングによる[CLS]を超えて
- Authors: Cicero Nogueira dos Santos, Xiaofei Ma, Ramesh Nallapati, Zhiheng
Huang, Bing Xiang
- Abstract要約: 我々は情報検索のための生成フレームワークを再考する。
我々の生成的アプローチは、解答選択タスクに対する最先端のセマンティック類似性に基づく識別モデルと同じくらい有効であることを示す。
- 参考スコア(独自算出の注目度): 22.27275853263564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models for Information Retrieval, where ranking of documents is
viewed as the task of generating a query from a document's language model, were
very successful in various IR tasks in the past. However, with the advent of
modern deep neural networks, attention has shifted to discriminative ranking
functions that model the semantic similarity of documents and queries instead.
Recently, deep generative models such as GPT2 and BART have been shown to be
excellent text generators, but their effectiveness as rankers have not been
demonstrated yet. In this work, we revisit the generative framework for
information retrieval and show that our generative approaches are as effective
as state-of-the-art semantic similarity-based discriminative models for the
answer selection task. Additionally, we demonstrate the effectiveness of
unlikelihood losses for IR.
- Abstract(参考訳): 文書のランク付けが文書の言語モデルからクエリを生成するタスクと見なされる情報検索のための生成モデルは、過去に様々なirタスクで非常に成功しました。
しかし、現代のディープニューラルネットワークの出現に伴い、文書やクエリのセマンティックな類似性をモデル化する識別的ランキング関数に注目が移った。
近年, GPT2 や BART などの深層生成モデルは優れたテキストジェネレータであることが示されているが, ローダとしての有効性はまだ証明されていない。
本研究では,情報検索のための生成的枠組みを再考し,その生成的アプローチが,回答選択タスクにおける意味的類似性に基づく判別モデルと同じくらい有効であることを示す。
さらに、IRにおける異種損失の有効性を示す。
関連論文リスト
- Distillation Enhanced Generative Retrieval [96.69326099136289]
生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。
本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。
本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
論文 参考訳(メタデータ) (2024-02-16T15:48:24Z) - Towards a Unified Language Model for Knowledge-Intensive Tasks Utilizing
External Corpus [22.27534528275182]
各種知識集約型タスクに外部コーパスを利用する統一言語モデルを提案する。
提案手法は, 2種類のバックボーンモデルを用いて, KILTベンチマークを用いて評価した。
実験の結果,検索および下流の知識集約タスクにおいて,モデルの性能が優れていることが示された。
論文 参考訳(メタデータ) (2024-02-02T06:44:22Z) - Learning to Rank in Generative Retrieval [62.91492903161522]
生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。
我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。
このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
論文 参考訳(メタデータ) (2023-06-27T05:48:14Z) - Resources for Brewing BEIR: Reproducible Reference Models and an
Official Leaderboard [47.73060223236792]
BEIRは18種類のドメイン/タスクの組み合わせで情報検索モデルを評価するためのベンチマークデータセットである。
我々の研究は、ベンチマークが完全な潜在能力を達成できない2つの欠点に対処しています。
論文 参考訳(メタデータ) (2023-06-13T00:26:18Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2022-10-28T11:18:10Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - On the Evaluation of Commit Message Generation Models: An Experimental
Study [33.19314967188712]
コミットメッセージは、コード変更の自然言語記述であり、プログラムの理解とメンテナンスに重要である。
コミットメッセージを自動的に生成するために, 生成手法や検索手法を利用した様々な手法が提案されている。
本稿では,最先端のモデルとデータセットの体系的,詳細な分析を行う。
論文 参考訳(メタデータ) (2021-07-12T12:38:02Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳(メタデータ) (2020-05-06T01:51:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。