論文の概要: Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2602.10006v1
• Date: Tue, 10 Feb 2026 17:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.70944
• Title: Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning
• Title（参考訳）: 質問第一: モードベース強化学習による検索関連性の調整
• Authors: Shijie Zhang, Xiang Guo, Rujun Guo, Shaoyu Liu, Xiaozhao Wang, Guanjun Jiang, Kevin Zhang,
• Abstract要約: 低レイテンシと高パフォーマンスを実現する検索関連モデルを構築することは、検索業界において長年の課題である。 我々は,新しいtextbfAnswer-First, Reason Later(AFRL)パラダイムを提案する。 このパラダイムでは、モデルが第1のトークンで決定的な関連性スコアを出力し、続いて構造化された論理的説明を行う必要がある。
• 参考スコア（独自算出の注目度）: 7.006180736433431
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Building a search relevance model that achieves both low latency and high performance is a long-standing challenge in the search industry. To satisfy the millisecond-level response requirements of online systems while retaining the interpretable reasoning traces of Large Language Models (LLMs), we propose a novel \textbf{Answer-First, Reason Later (AFRL)} paradigm. This paradigm requires the model to output the definitive relevance score in the very first token, followed by a structured logical explanation. Inspired by the success of reasoning models, we adopt a "Supervised Fine-Tuning (SFT) + Reinforcement Learning (RL)" pipeline to achieve AFRL. However, directly applying existing RL training often leads to \textbf{mode collapse} in the search relevance task, where the model forgets complex long-tail rules in pursuit of high rewards. From an information theory perspective: RL inherently minimizes the \textbf{Reverse KL divergence}, which tends to seek probability peaks (mode-seeking) and is prone to "reward hacking." On the other hand, SFT minimizes the \textbf{Forward KL divergence}, forcing the model to cover the data distribution (mode-covering) and effectively anchoring expert rules. Based on this insight, we propose a \textbf{Mode-Balanced Optimization} strategy, incorporating an SFT auxiliary loss into Stepwise-GRPO training to balance these two properties. Furthermore, we construct an automated instruction evolution system and a multi-stage curriculum to ensure expert-level data quality. Extensive experiments demonstrate that our 32B teacher model achieves state-of-the-art performance. Moreover, the AFRL architecture enables efficient knowledge distillation, successfully transferring expert-level logic to a 0.6B model, thereby reconciling reasoning depth with deployment latency.
• Abstract（参考訳）: 低レイテンシと高パフォーマンスを実現する検索関連モデルを構築することは、検索業界において長年の課題である。 本稿では,Large Language Models (LLMs) の解釈可能な推論トレースを維持しつつ,オンラインシステムのミリ秒レベルの応答要求を満たすために,新しい「textbf{Answer-First, Reason Later (AFRL)」パラダイムを提案する。 このパラダイムでは、モデルが第1のトークンで決定的な関連性スコアを出力し、続いて構造化された論理的説明を行う必要がある。 推論モデルの成功に触発されて、AFRLを達成するために"Supervised Fine-Tuning (SFT) + Reinforcement Learning (RL)"パイプラインを採用する。 しかしながら、既存のRLトレーニングを直接適用すると、検索関連タスクにおいて、高報酬を求めるために複雑なロングテールルールを忘れてしまうような、‘textbf{mode collapse}’ が発生することが多い。 情報理論の観点からは、RL は本質的に、確率ピークを求める傾向にある \textbf{Reverse KL divergence} を最小化し、"リワードハッキング"しがちである。 一方、SFT は \textbf{Forward KL divergence} を最小化し、モデルにデータ分散(モードカバレッジ)を強制し、専門家のルールを効果的にアンロックする。 この知見に基づいて,SFT補助損失をStepwise-GRPOトレーニングに組み込むことで,これらの2つの特性のバランスをとることを目的とした,‘textbf{Mode-Balanced Optimization} 戦略を提案する。 さらに,専門家レベルのデータ品質を確保するために,自動命令進化システムと多段階カリキュラムを構築した。 我々の32B教師モデルが最先端のパフォーマンスを達成することを示す大規模な実験を行った。 さらに、AFRLアーキテクチャは、効率的な知識蒸留を可能にし、専門家レベルのロジックを0.6Bモデルに転送することに成功し、したがって、推論深度をデプロイメント遅延と整合させる。

関連論文リスト

• Scaling up Multi-Turn Off-Policy RL and Multi-Agent Tree Search for LLM Step-Provers [16.135928990655422]
  本稿では,2つのスケーリング問題に対処するシステムである textttBFS-Prover-V2 を紹介する。 1つ目は、トレーニング時にLLMのステッププロデューサの性能を継続的に改善する、新しいマルチターンオフポリチフレームワークである。 第二のイノベーションは、推論時に推論能力を拡大するプランナーによるマルチエージェント検索アーキテクチャである。
  論文  参考訳（メタデータ） (2025-09-08T09:54:18Z)
• Metis-RISE: RL Incentivizes and SFT Enhances Multimodal Reasoning Model Learning [20.515599491717442]
  マルチモーダル推論モデル学習のためのtextbfMetis-RISE (textbfRL textbfSFT textbfEnhances) を提案する。
  論文  参考訳（メタデータ） (2025-06-16T02:56:13Z)
• Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions [17.407689582427437]
  大規模言語モデル(LLM)推論は、強化学習(RL)を通して計画や自己回帰のような洗練された行動が現れることを示した。 textbfReLIFT (textbfReinforcement textbfL textbfInterleaved with Online textbfFine-textbfTuning) ReLIFTでは、モデルを主にRLを使ってトレーニングするが、難しい問題に遭遇すると、ファインチューニングのための高品質なソリューションが収集され、トレーニングプロセスが交互に行われる。
  論文  参考訳（メタデータ） (2025-06-09T08:11:20Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models [39.551767637896404]
  本研究は、LVLM(Large Vision-Language Models)のトレーニングにおいて、支配的な教師付き微調整(SFT)、強化学習(RL)パラダイムを再考する。 SFTは、専門家モデルから模倣された擬似推論経路を誘導することにより、その後のRLを著しく損なう可能性があることを示す。 我々は,LVLMにおける推論を支援するために設計された,新しいマルチモーダルデータセットであるVLAA-Thinkingを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:54:05Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。