論文の概要: Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search

• arxiv url: http://arxiv.org/abs/2609.30177v1
• Date: Thu, 24 Sep 2026 17:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.162337
• Title: Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search
• Title（参考訳）: Robloxゲーム検索における多成分クエリ理解のための探索型強化学習
• Abstract要約: 蒸留-Then-RLパラダイムに基づくQUのための検索対応強化学習フレームワークを提案する。 実験により、このコンポーネント固有の最適化は、コンポーネントごとのユーティリティと下流の検索品質の両方を改善することが示された。
• 参考スコア（独自算出の注目度）: 7.705023299486297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query understanding (QU) plays a critical role in production search systems, translating raw user queries into search execution plans that drive downstream retrieval and ranking. While large language models (LLMs) have enabled QU to be framed as a structured multi-task generation problem (e.g., intent classification, query expansion), optimizing such models to produce search-engine-coupled outputs remains challenging: static, label-based supervision fails to capture how each component actually interacts with the underlying search pipeline to affect downstream performance. We present a search-aware reinforcement learning (RL) framework for QU based on a distill-then-RL paradigm. Teacher-student supervised fine-tuning (SFT) first yields a well-formed, schema-compliant policy initialization. The RL stage then optimizes each QU component with rewards derived from live interaction with the search engine, tailored to that component's operational role, rather than a single reward tied to the final search outcome. Experiments on Roblox search show that this component-specific optimization improves both per-component utility and downstream search quality, raising NDCG@20 by 8.9 points over the SFT policy and by 3.5 points over training with a single end-to-end reward.
• Abstract（参考訳）: クェリ理解(QU)は本番検索システムにおいて重要な役割を担い、下流の検索とランキングを駆動する検索実行計画に生のクェリを翻訳する。 大規模言語モデル(LLM)は、QUを構造化マルチタスク生成問題(例えば、意図分類、クエリ拡張)としてフレーム化可能にする一方で、そのようなモデルを検索エンジンと組み合わせた出力を生成するために最適化することは依然として困難である。 蒸留-Then-RLパラダイムに基づくQUのための検索認識強化学習(RL)フレームワークを提案する。 教師/教師による微調整(SFT)は、まず、十分に整ったスキーマ準拠のポリシー初期化をもたらす。 その後、RLステージは各QUコンポーネントを最適化し、最終的な検索結果に関連付けられた単一の報酬ではなく、そのコンポーネントの運用上の役割に合わせて、検索エンジンとのライブインタラクションに由来する報酬を与える。 Robloxサーチの実験では、このコンポーネント固有の最適化により、コンポーネントごとのユーティリティと下流の検索品質が向上し、NDCG@20がSFTポリシーで8.9ポイント、トレーニングで3.5ポイント上昇した。

関連論文リスト

• SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation [26.8807904319691]
  模擬検索世界のバックボーンとして型付き知識グラフを用いたtextbfSearchEyes を提案する。 Wikidata5Mの視覚的知識交差点上の制約付きマルチホップパスをサンプリングするために,textbfPerception-Knowledge Chains (PKC)を提案する。 6つのマルチモーダルな知識集約型ベンチマーク実験により,SearchEyesはオープンソースのマルチモーダル検索エージェントの最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-07-07T07:43:04Z)
• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• When should I search more: Adaptive Complex Query Optimization with Reinforcement Learning [26.489185170468062]
  適応複雑クエリ最適化(ACQO)と呼ばれる新しいRLフレームワークを提案する。 我々のフレームワークは、いつ、どのように検索プロセスを拡張するかを適応的に決定するように設計されている。 ACQOは3つの複雑なクエリベンチマークで最先端のパフォーマンスを達成し、確立されたベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-29T03:16:53Z)
• Reasoning-enhanced Query Understanding through Decomposition and Interpretation [87.56450566014625]
  ReDIは、分解と解釈によるクエリ理解のための推論強化アプローチである。 我々は,大規模検索エンジンから実世界の複雑なクエリの大規模データセットをコンパイルした。 BRIGHT と BEIR の実験により、ReDI はスパースと密度の高い検索パラダイムの両方において、強いベースラインを一貫して超えることを示した。
  論文  参考訳（メタデータ） (2025-09-08T10:58:42Z)
• MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
  MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。 本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
  論文  参考訳（メタデータ） (2025-06-25T17:59:42Z)
• ZeroSearch: Incentivize the Search Capability of LLMs without Searching [69.55482019211597]
  我々はZeroSearchを紹介した。ZeroSearchは、学習中にシミュレーションされた検索を備えた実検索エンジンを使用するための、大規模言語モデルの能力を動機付けるフレームワークである。 提案手法は,LLMを有用な文書とノイズの両方を生成可能な検索モジュールに変換するための,軽量な教師付き微調整から始まる。
  論文  参考訳（メタデータ） (2025-05-07T17:30:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。