論文の概要: Beyond [CLS] through Ranking by Generation

• arxiv url: http://arxiv.org/abs/2010.03073v1
• Date: Tue, 6 Oct 2020 22:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 07:41:50.986934
• Title: Beyond [CLS] through Ranking by Generation
• Title（参考訳）: 世代別ランキングによる[CLS]を超えて
• Authors: Cicero Nogueira dos Santos, Xiaofei Ma, Ramesh Nallapati, Zhiheng Huang, Bing Xiang
• Abstract要約: 我々は情報検索のための生成フレームワークを再考する。 我々の生成的アプローチは、解答選択タスクに対する最先端のセマンティック類似性に基づく識別モデルと同じくらい有効であることを示す。
• 参考スコア（独自算出の注目度）: 22.27275853263564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models for Information Retrieval, where ranking of documents is viewed as the task of generating a query from a document's language model, were very successful in various IR tasks in the past. However, with the advent of modern deep neural networks, attention has shifted to discriminative ranking functions that model the semantic similarity of documents and queries instead. Recently, deep generative models such as GPT2 and BART have been shown to be excellent text generators, but their effectiveness as rankers have not been demonstrated yet. In this work, we revisit the generative framework for information retrieval and show that our generative approaches are as effective as state-of-the-art semantic similarity-based discriminative models for the answer selection task. Additionally, we demonstrate the effectiveness of unlikelihood losses for IR.
• Abstract（参考訳）: 文書のランク付けが文書の言語モデルからクエリを生成するタスクと見なされる情報検索のための生成モデルは、過去に様々なirタスクで非常に成功しました。 しかし、現代のディープニューラルネットワークの出現に伴い、文書やクエリのセマンティックな類似性をモデル化する識別的ランキング関数に注目が移った。 近年, GPT2 や BART などの深層生成モデルは優れたテキストジェネレータであることが示されているが, ローダとしての有効性はまだ証明されていない。 本研究では,情報検索のための生成的枠組みを再考し,その生成的アプローチが,回答選択タスクにおける意味的類似性に基づく判別モデルと同じくらい有効であることを示す。 さらに、IRにおける異種損失の有効性を示す。

関連論文リスト

• Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval [3.9639424852746274]
  本稿では,言語モデルの中間層からの隠れ状態表現を利用して,与えられたクエリに対する追加検索の必要性を適応的に決定するProbing-RAGを提案する。 Probing-RAGはモデルの内部認識を効果的に捉え、外部文書の取得に関する信頼性の高い意思決定を可能にする。
  論文  参考訳（メタデータ） (2024-10-17T08:48:54Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Distillation Enhanced Generative Retrieval [96.69326099136289]
  生成的検索はテキスト検索において有望な新しいパラダイムであり、関連する通路の識別子文字列を検索対象として生成する。 本研究は, 蒸留による生成的検索をさらに促進するための有効な方向を特定し, DGR という名称の実行可能なフレームワークを提案する。 本研究では,4つの公開データセットに対して実験を行い,DGRが生成的検索手法の最先端性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-16T15:48:24Z)
• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard [47.73060223236792]
  BEIRは18種類のドメイン/タスクの組み合わせで情報検索モデルを評価するためのベンチマークデータセットである。 我々の研究は、ベンチマークが完全な潜在能力を達成できない2つの欠点に対処しています。
  論文  参考訳（メタデータ） (2023-06-13T00:26:18Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。