論文の概要: CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search
- arxiv url: http://arxiv.org/abs/2606.14127v1
- Date: Fri, 12 Jun 2026 05:19:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.759053
- Title: CoRe: A Continuously Reward-Finetuned LLM Query Rewriter for Multi-Stage Context-Aware Relevance in Web-Scale Video Search
- Title（参考訳）: CoRe: Webスケールビデオ検索におけるマルチステージコンテキスト認識関連性のための連続リワード型LCMクエリリライタ
- Authors: Yilin Wen, Rong Yang, Xiaojia Chang, Hong Sun, Gefu Tang, Chunhui Liu, Jeffrey Chen, Zeyu Ma, Lisong Qiu, Xiaochuan Fan, Congjia Yu, Quan Zhou, Yuheng Chen, Zian Wang,
- Abstract要約: 今回紹介するCoReは、毎週5か月以上、大規模なショートビデオ検索エンジンに再デプロイするシステムだ。
我々の報酬は、デプロイされたマルチモーダルレバレンスモデルをソースとし、生産核融合代数を反映する乗法比形式を用いる。
半オンラインMixed Preference Optimizationループは、この報酬を毎週数百万のインスタンススケールで手頃な価格で提供する。
- 参考スコア（独自算出の注目度）: 16.32525191514382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based query rewriters in production face a tension: the training reward must reflect how the rewrite is consumed by the production ranker, yet the training procedure must be cheap enough to support continuous redeployment as data drifts. We present CoRe (Context Relevance), such a system, redeployed weekly for over five months in a major short-video search engine. Our reward uses the deployed multimodal relevance model as its source and a multiplicative ratio form mirroring the production fusion algebra, closing the simulation-production gap that offline reward proxies leave open. A semi-online Mixed Preference Optimization loop makes this reward affordable at multi-million-instance weekly scale: a DPO-style pairwise objective restricts the gradient pass to a small top-k/bottom-k subset of sampled trajectories, and a phase structure reduces trainer/inference-server parameter syncs from per-step to per-phase. An automated promotion gate over reward-like and stability metrics detected and recovered from a real reward-hacking incident in production. Rewriter output is consumed as parallel relevance signals at recall, rawrank, and finerank without displacing the original signals, bounding rewriter-failure blast radius. Online A/B from two sequential production launches, first deploying the rewriter at finerank, then extending consumption to recall and rawrank, delivers statistically significant reductions in change-query rate on rewrite-impacted queries, with all headline relevance and engagement metrics moving in the expected direction.
- Abstract（参考訳）: トレーニング報酬は、プロダクションローダがリライトをどのように消費するかを反映しなければならないが、トレーニング手順は、データがドリフトするにつれて、継続的な再デプロイをサポートするのに十分なコストが必要である。
このようなシステムであるCoRe(Context Relevance)を、メジャーなショートビデオ検索エンジンで毎週5ヶ月以上再デプロイする。
我々の報酬は、デプロイされたマルチモーダルレバレンスモデルをソースとし、生産融合代数を反映した乗算比形式を用いて、オフラインの報酬プロキシが残すシミュレーションと生産のギャップを埋める。
半オンライン混合選好最適化ループは、この報酬を数百万の週単位のスケールで安価にする: DPOスタイルのペアワイズ目的は、サンプルトラジェクトリの小さなトップk/ボットm-kサブセットへの勾配パスを制限し、フェーズ構造は、トレーナー/推論/サーバパラメータの同期をステップ単位からフェーズ単位に短縮する。
報酬のようなメトリクスと安定性に関する自動プロモーションゲートは、本番の実際の報酬ハックインシデントから検出され、回収される。
リライター出力は、元の信号に取って代わることなく、リライターの出力をリコール時の並列関連信号、生み出し信号、微粒化信号として消費し、リライター・欠陥ブラスト半径を束縛する。
2つのシーケンシャルなプロダクションローンチからのオンラインA/Bでは、まずリライターをファインランクにデプロイし、次に消費をリコールと生み出しに拡張し、リライトの影響のあるクエリに対する変更クエリ率を統計的に顕著に低減し、すべての見出し関連とエンゲージメントメトリクスが期待通りに移動する。
関連論文リスト
- Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO [53.38929612273108]
因果自己回帰ビデオ拡散モデルは、以前生成されたコンテンツから将来のチャンクを外挿することでリアルタイムストリーミング生成をサポートする。
本稿では,リアルタイム自動回帰ビデオ補間ネットワーク(RAVEN)を紹介した。これは,各自己ロールアウトを,クリーンな歴史的エンドポイントのインターリーブシーケンスに再パッケージするトレーニングタイムテストフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T17:59:30Z) - REALM: Retrospective Encoder Alignment for LFP Modeling [2.8036525859094823]
スパイク活動は、その空間分解能と時間分解能が高いため、行動復号において支配的な神経信号である。
脳-コンピュータインタフェース(BCI)が高チャネル数や無線操作へと移動するにつれ、スパイク信号の高サンプリング周波数がボトルネックとなる。
本稿では,因果LFPデコードを可能にする振り返り蒸留フレームワークREALMを提案する。
論文 参考訳（メタデータ） (2026-05-14T14:16:22Z) - CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL [56.969946199335716]
本稿では,ポストトレーニング後のエンボディドビデオ生成モデルに対して,コンポジション制約に基づく報酬モデルを提案する。
提案するCreFlowは,2つの鍵となる設計を持つ新しいオンラインRLフレームワークである。
論文 参考訳（メタデータ） (2026-05-14T02:18:58Z) - ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。
一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。
チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
論文 参考訳（メタデータ） (2026-05-11T20:28:31Z) - ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression [5.223477157195793]
中間のロスト」現象は、入力長が大きくなるにつれてランキング品質を低下させる。
推論レイテンシは、シーケンス長と超直線的にスケールし、産業展開において非現実的にリストワイズする。
ResRankは、両方の課題を根本的に解決する統合検索格付けフレームワークである。
論文 参考訳（メタデータ） (2026-04-24T03:11:51Z) - GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation [14.663434490160016]
我々は、JD App上にデプロイされた嗜好指向の生成フレームワークであるGenRecを紹介する。
月のオンラインA/Bテストでは、GenRecは9.5%のクリック数の改善と8.7%のトランザクション数を達成した。
論文 参考訳（メタデータ） (2026-04-16T11:07:05Z) - Astrolabe: Steering Forward-Process Reinforcement Learning for Distilled Autoregressive Video Models [58.3184497327891]
蒸留自己回帰(AR)ビデオモデルは、効率的なストリーミング生成を可能にするが、しばしば人間の視覚的嗜好に反する。
蒸留ARモデルに適した効率的なオンライン強化学習フレームワークであるAstrolabeを提案する。
論文 参考訳（メタデータ） (2026-03-17T18:32:18Z) - SoliReward: Mitigating Susceptibility to Reward Hacking and Annotation Noise in Video Generation Reward Models [53.19726629537694]
ビデオ生成モデルと人間の好みのトレーニング後のアライメントは、重要な目標である。
現在のデータ収集パラダイムは、プロンプト内のペアワイズアノテーションに依存しており、ノイズのラベル付けに悩まされている。
ビデオRMトレーニングのための体系的フレームワークであるSoliRewardを提案する。
論文 参考訳（メタデータ） (2025-12-17T14:28:23Z) - Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。
本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文 参考訳（メタデータ） (2024-03-07T03:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。