論文の概要: ProphetNet-Ads: A Looking Ahead Strategy for Generative Retrieval Models
in Sponsored Search Engine
- arxiv url: http://arxiv.org/abs/2010.10789v1
- Date: Wed, 21 Oct 2020 07:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 00:36:29.688324
- Title: ProphetNet-Ads: A Looking Ahead Strategy for Generative Retrieval Models
in Sponsored Search Engine
- Title(参考訳): ProphetNet-Ads: スポンサー検索エンジンにおける検索モデルの生成戦略
- Authors: Weizhen Qi, Yeyun Gong, Yu Yan, Jian Jiao, Bo Shao, Ruofei Zhang,
Houqiang Li, Nan Duan, Ming Zhou
- Abstract要約: 生成的検索モデルは、ターゲットライブラリプレフィックスツリー(Trie)のパス上でトークンによる出力トークンを生成する
本稿では,これらの問題を解析し,ProphetNet-Adsと呼ばれる生成検索モデルの今後の戦略を提案する。
最近提案されたトリエ型LSTM生成モデルと比較すると,本モデルの結果と統合結果は,ビームサイズ5でそれぞれ15.58%と18.8%改善した。
- 参考スコア(独自算出の注目度): 123.65646903493614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a sponsored search engine, generative retrieval models are recently
proposed to mine relevant advertisement keywords for users' input queries.
Generative retrieval models generate outputs token by token on a path of the
target library prefix tree (Trie), which guarantees all of the generated
outputs are legal and covered by the target library. In actual use, we found
several typical problems caused by Trie-constrained searching length. In this
paper, we analyze these problems and propose a looking ahead strategy for
generative retrieval models named ProphetNet-Ads. ProphetNet-Ads improves the
retrieval ability by directly optimizing the Trie-constrained searching space.
We build a dataset from a real-word sponsored search engine and carry out
experiments to analyze different generative retrieval models. Compared with
Trie-based LSTM generative retrieval model proposed recently, our single model
result and integrated result improve the recall by 15.58\% and 18.8\%
respectively with beam size 5. Case studies further demonstrate how these
problems are alleviated by ProphetNet-Ads clearly.
- Abstract(参考訳): スポンサー付き検索エンジンでは,ユーザの入力クエリに関連のある広告キーワードをマイニングするための生成検索モデルが最近提案されている。
生成検索モデルは、生成されたすべての出力が合法で、対象ライブラリによってカバーされることを保証する、ターゲットライブラリプレフィックスツリー(trie)のパス上のトークンによる出力トークンを生成する。
実使用では,三重拘束探索長に起因するいくつかの典型的な問題を発見した。
本稿では,これらの問題を解析し,ProphetNet-Adsと呼ばれる生成検索モデルの今後の戦略を提案する。
ProphetNet-Adsは、トリエ制約探索空間を直接最適化することで、検索能力を向上する。
実単語支援検索エンジンからデータセットを構築し、異なる生成的検索モデルを分析する実験を行う。
近年提案されているtrieベースのlstm生成検索モデルと比較して,単一モデルの結果と統合結果がそれぞれ15.58\%,18.8\%,ビームサイズ5。
ケーススタディはさらに、prophetnet-adsによってこれらの問題がどのように軽減されるかを示す。
関連論文リスト
- Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。
全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。
提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
論文 参考訳(メタデータ) (2023-10-23T05:52:09Z) - On the Robustness of Generative Retrieval Models: An Out-of-Distribution
Perspective [65.16259505602807]
本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。
実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-06-22T09:18:52Z) - Improving Content Retrievability in Search with Controllable Query
Generation [5.450798147045502]
マシンが学習した検索エンジンは高い検索可能性バイアスを持ち、クエリの大部分が同じエンティティを返す。
そこで我々はCtrlQGenを提案する。CtrlQGenは、選択したインテントナローあるいは広義のクエリを生成する方法である。
音楽,ポッドキャスト,書籍の各分野のデータセットから得られた結果から,高密度検索モデルの検索可能性バイアスを著しく低減できることがわかった。
論文 参考訳(メタデータ) (2023-03-21T07:46:57Z) - Content-Based Search for Deep Generative Models [45.322081206025544]
クエリと生成モデルの大規模なセットを与えられた場合、クエリに最もよくマッチするモデルを見つける。
各生成モデルは画像の分布を生成するため、探索タスクを最適化問題として定式化し、クエリと類似したコンテンツを生成する確率が最も高いモデルを選択する。
提案手法は,モデル検索タスクのための新しいベンチマークである生成モデル動物園において,いくつかのベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-10-06T17:59:51Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Enabling arbitrary translation objectives with Adaptive Tree Search [23.40984370716434]
本研究では,適応木探索アルゴリズムを導入し,探索対象の形状や構造を仮定しない翻訳モデルの下で高いスコア付け出力を求める。
我々のアルゴリズムはビームサーチとは異なるバイアスを有しており、自己回帰モデルにおけるデコードバイアスの役割を新たに解析することができる。
論文 参考訳(メタデータ) (2022-02-23T11:48:26Z) - NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural
Architecture Search [9.634626241415916]
リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである
これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。
リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-08-18T03:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。