論文の概要: Exploring Training and Inference Scaling Laws in Generative Retrieval

• arxiv url: http://arxiv.org/abs/2503.18941v1
• Date: Mon, 24 Mar 2025 17:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:29.549990
• Title: Exploring Training and Inference Scaling Laws in Generative Retrieval
• Title（参考訳）: ジェネレーティブ検索におけるトレーニングと推論スケーリング法則の探求
• Authors: Hongru Cai, Yongqi Li, Ruifeng Yuan, Wenjie Wang, Zhen Zhang, Wenjie Li, Tat-Seng Chua,
• Abstract要約: モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
• 参考スコア（独自算出の注目度）: 50.82554729023865
• License:
• Abstract: Generative retrieval has emerged as a novel paradigm that leverages large language models (LLMs) to autoregressively generate document identifiers. Although promising, the mechanisms that underpin its performance and scalability remain largely unclear. We conduct a systematic investigation of training and inference scaling laws in generative retrieval, exploring how model size, training data scale, and inference-time compute jointly influence retrieval performance. To address the lack of suitable metrics, we propose a novel evaluation measure inspired by contrastive entropy and generation loss, providing a continuous performance signal that enables robust comparisons across diverse generative retrieval methods. Our experiments show that n-gram-based methods demonstrate strong alignment with both training and inference scaling laws, especially when paired with larger LLMs. Furthermore, increasing inference computation yields substantial performance gains, revealing that generative retrieval can significantly benefit from higher compute budgets at inference. Across these settings, LLaMA models consistently outperform T5 models, suggesting a particular advantage for larger decoder-only models in generative retrieval. Taken together, our findings underscore that model sizes, data availability, and inference computation interact to unlock the full potential of generative retrieval, offering new insights for designing and optimizing future systems.
• Abstract（参考訳）: 生成検索は、大規模言語モデル(LLM)を利用して文書識別子を自動回帰的に生成する新しいパラダイムとして登場した。 有望ではあるが、その性能とスケーラビリティを支えるメカニズムはほとんど不明である。 生成検索におけるトレーニングと推論スケーリングの法則を体系的に調査し、モデルサイズ、トレーニングデータスケール、推論時間計算が検索性能にどのように影響するかを探索する。 適切な指標の欠如に対処するため,コントラストエントロピーと生成損失にインスパイアされた新たな評価尺度を提案し,多種多様な生成的検索手法間のロバストな比較を可能にする連続的な性能信号を提供する。 実験により, n-gram-based method はトレーニング法と推論法の両方に強く一致していることが明らかとなった。 さらに、推論の計算量が増加すると性能が大幅に向上し、生成的検索は推論時のより高い計算予算から大きな恩恵を受けることが判明した。 これらの設定全体において、LLaMAモデルは一貫してT5モデルより優れており、生成的検索においてデコーダのみのモデルよりも大きなアドバンテージを示唆している。 その結果、モデルのサイズ、データ可用性、推論計算が相互作用し、生成的検索の潜在能力を最大限に活用し、将来のシステムの設計と最適化のための新たな洞察を提供する、という結果が得られた。

関連論文リスト

• Inference-Time Scaling for Diffusion Models beyond Scaling Denoising Steps [48.16416920913577]
  拡散モデルの予測時間スケーリングの挙動を,デノナイジングステップの増大を超えて検討する。 拡散サンプリングプロセスにおいて,より優れたノイズを特定することを目的とした探索問題を考察する。 その結果, 推定時間計算の増加は, 拡散モデルにより生成された試料の品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-16T18:30:37Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
  本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。 我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-12T12:20:27Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Scaling Laws For Dense Retrieval [22.76001461620846]
  本研究は,高密度検索モデルの性能が他のニューラルモデルと同様のスケーリング法則に従うかどうかを考察する。 その結果、我々の設定下では、高密度検索モデルの性能は、モデルサイズとアノテーション数に関連する正確なパワーロースケーリングに従っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-27T15:27:36Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。