論文の概要: ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval
- arxiv url: http://arxiv.org/abs/2405.14280v1
- Date: Thu, 23 May 2024 07:54:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-11 00:01:56.545016
- Title: ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval
- Title（参考訳）: ASI++: 分散型のエンドツーエンド生成検索を目指す
- Authors: Yuxuan Liu, Tianchi Yang, Zihan Zhang, Minghui Song, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang,
- Abstract要約: ASI++は、新しいエンドツーエンドの生成検索手法である。
バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
- 参考スコア（独自算出の注目度）: 29.65717446547002
- License:
- Abstract: Generative retrieval, a promising new paradigm in information retrieval, employs a seq2seq model to encode document features into parameters and decode relevant document identifiers (IDs) based on search queries. Existing generative retrieval solutions typically rely on a preprocessing stage to pre-define document IDs, which can suffer from a semantic gap between these IDs and the retrieval task. However, end-to-end training for both ID assignments and retrieval tasks is challenging due to the long-tailed distribution characteristics of real-world data, resulting in inefficient and unbalanced ID space utilization. To address these issues, we propose ASI++, a novel fully end-to-end generative retrieval method that aims to simultaneously learn balanced ID assignments and improve retrieval performance. ASI++ builds on the fully end-to-end training framework of vanilla ASI and introduces several key innovations. First, a distributionally balanced criterion addresses the imbalance in ID assignments, promoting more efficient utilization of the ID space. Next, a representation bottleneck criterion enhances dense representations to alleviate bottlenecks in learning ID assignments. Finally, an information consistency criterion integrates these processes into a joint optimization framework grounded in information theory. We further explore various module structures for learning ID assignments, including neural quantization, differentiable product quantization, and residual quantization. Extensive experiments on both public and industrial datasets demonstrate the effectiveness of ASI++ in improving retrieval performance and achieving balanced ID assignments.
- Abstract（参考訳）: 情報検索において有望な新しいパラダイムである生成検索では、セq2seqモデルを使用して、文書の特徴をパラメータにエンコードし、関連するドキュメント識別子(ID)を検索クエリに基づいてデコードする。
既存の生成検索ソリューションは、通常、文書IDを事前に定義するための前処理ステージに依存しており、これらのIDと検索タスクの間の意味的なギャップに悩まされる可能性がある。
しかし、実世界のデータの長期分布特性のため、ID割り当てと検索タスクの両方のエンドツーエンドトレーニングは困難であり、非効率かつ不均衡なID空間利用をもたらす。
これらの課題に対処するために,バランスの取れたID割り当てを同時に学習し,検索性能を向上させることを目的とした,完全エンドツーエンドな生成検索手法であるASI++を提案する。
ASI++は、vanilla ASIの完全なエンドツーエンドトレーニングフレームワーク上に構築されており、いくつかの重要なイノベーションが導入されている。
まず、分布バランスの取れた基準がID割り当ての不均衡に対処し、ID空間のより効率的な利用を促進する。
次に、表現ボトルネック基準により、密度の高い表現が強化され、ID割り当ての学習におけるボトルネックが軽減される。
最後に、情報一貫性基準は、これらのプロセスを情報理論に基づく共同最適化フレームワークに統合する。
さらに、ニューラル量子化、微分可能積量子化、残留量子化など、ID割り当てを学習するための様々なモジュール構造について検討する。
パブリックおよびインダストリアル両方のデータセットに対する大規模な実験は、ASI++が検索性能を改善し、バランスの取れたID割り当てを達成する上で有効であることを示す。
関連論文リスト
- Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。
具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。
さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文 参考訳（メタデータ） (2024-10-11T14:03:29Z) - Breaking the Hourglass Phenomenon of Residual Quantization: Enhancing the Upper Bound of Generative Retrieval [16.953923822238455]
ジェネレーティブ検索(GR)は、検索とレコメンデーションシステムにおいて、トランスフォーメーションパラダイムとして登場した。
ホログラス」現象は生成検索におけるRQ-SIDの性能に大きな影響を及ぼす。
本稿では,この問題を軽減し,現実のEコマースアプリケーションにおける生成検索の有効性を高めるための効果的なソリューションを提案する。
論文 参考訳（メタデータ） (2024-07-31T09:52:53Z) - Generative Retrieval with Preference Optimization for E-commerce Search [16.78829577915103]
我々は、好みを最適化した生成検索という、Eコマース検索のための革新的なフレームワークを開発する。
生の項目のタイトルを表すためにマルチスパン識別子を使用し、クエリからタイトルを生成するタスクを、クエリからマルチスパン識別子を生成するタスクに変換する。
実験の結果,本フレームワークは実世界のデータセット上での競合性能を実現し,オンラインA/Bテストはコンバージョンゲインの改善における優位性と有効性を示した。
論文 参考訳（メタデータ） (2024-07-29T09:31:19Z) - Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding [23.061797784952855]
本稿では,文書識別子の自動生成を支援する新しい最適化および復号化手法であるPAGを紹介する。
MSMARCO と TREC Deep Learning Track のデータによる実験の結果,PAG は最先端の生成的検索モデルよりも大きなマージンで優れていることがわかった。
論文 参考訳（メタデータ） (2024-04-22T21:50:01Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳（メタデータ） (2024-02-02T06:44:22Z) - Language Models As Semantic Indexers [78.83425357657026]
本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。
学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
論文 参考訳（メタデータ） (2023-10-11T18:56:15Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳（メタデータ） (2023-05-19T17:33:38Z) - Recommender Systems with Generative Retrieval [58.454606442670034]
本稿では,対象候補の識別子を自己回帰的に復号する新たな生成検索手法を提案する。
そのために、各項目のセマンティックIDとして機能するために、意味論的に意味のあるコードワードを作成します。
提案手法を用いて学習した推薦システムは,様々なデータセット上での現在のSOTAモデルよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2023-05-08T21:48:17Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - End-to-end Person Search Sequentially Trained on Aggregated Dataset [1.9766522384767227]
本稿では,検出と特徴抽出を共同で計算するエンド・ツー・エンドのモデルを提案する。
コストのかかるIDアノテーションを使わずに、より多くの歩行者検出データセットを集約することで、共有機能マップがより汎用的であることを示す。
論文 参考訳（メタデータ） (2022-01-24T11:22:15Z) - Unsupervised Domain Adaptive Learning via Synthetic Data for Person
Re-identification [101.1886788396803]
人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。
残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。
本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
論文 参考訳（メタデータ） (2021-09-12T15:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。