論文の概要: Exploring Training and Inference Scaling Laws in Generative Retrieval

• arxiv url: http://arxiv.org/abs/2503.18941v2
• Date: Sun, 08 Jun 2025 12:15:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:46.928832
• Title: Exploring Training and Inference Scaling Laws in Generative Retrieval
• Title（参考訳）: ジェネレーティブ検索におけるトレーニングと推論スケーリング法則の探求
• Authors: Hongru Cai, Yongqi Li, Ruifeng Yuan, Wenjie Wang, Zhen Zhang, Wenjie Li, Tat-Seng Chua,
• Abstract要約: 生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
• 参考スコア（独自算出の注目度）: 50.82554729023865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative retrieval reformulates retrieval as an autoregressive generation task, where large language models (LLMs) generate target documents directly from a query. As a novel paradigm, the mechanisms that underpin its performance and scalability remain largely unexplored. We systematically investigate training and inference scaling laws in generative retrieval, exploring how model size, training data scale, and inference-time compute jointly influence performance. We propose a novel evaluation metric inspired by contrastive entropy and generation loss, providing a continuous performance signal that enables robust comparisons across diverse generative retrieval methods. Our experiments show that n-gram-based methods align strongly with training and inference scaling laws. We find that increasing model size, training data scale, and inference-time compute all contribute to improved performance, highlighting the complementary roles of these factors in enhancing generative retrieval. Across these settings, LLaMA models consistently outperform T5 models, suggesting a particular advantage for larger decoder-only models in generative retrieval. Our findings underscore that model sizes, data availability, and inference computation interact to unlock the full potential of generative retrieval, offering new insights for designing and optimizing future systems.
• Abstract（参考訳）: 生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデル(LLM)がクエリから直接ターゲット文書を生成する。 新たなパラダイムとして、そのパフォーマンスとスケーラビリティの基盤となるメカニズムは、いまだほとんど解明されていない。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルサイズ,トレーニングデータスケール,推論時間計算が協調的性能に与える影響について検討した。 コントラストエントロピーと生成損失にインスパイアされた新しい評価指標を提案する。 実験の結果,n-gram法はトレーニング法や推論法則と強く一致していることがわかった。 モデルサイズ, トレーニングデータスケール, 推論時間計算の増大は, いずれも性能向上に寄与し, 生成的検索の促進におけるこれらの要因の相補的役割を強調した。 これらの設定全体において、LLaMAモデルは一貫してT5モデルより優れており、生成的検索においてデコーダのみのモデルよりも大きなアドバンテージを示唆している。 我々の発見は、モデルのサイズ、データ可用性、および推論計算が相互作用し、生成的検索の可能性を最大限に解き明かし、将来のシステムの設計と最適化のための新しい洞察を提供する。

関連論文リスト

• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps [48.16416920913577]
  拡散モデルの予測時間スケーリングの挙動を,デノナイジングステップの増大を超えて検討する。 拡散サンプリングプロセスにおいて,より優れたノイズを特定することを目的とした探索問題を考察する。 その結果, 推定時間計算の増加は, 拡散モデルにより生成された試料の品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-16T18:30:37Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
  本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。 我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-12T12:20:27Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。