論文の概要: HuatuoGPT-3: RL-Only Domain Adaptation from Base Models

• arxiv url: http://arxiv.org/abs/2610.05966v1
• Date: Mon, 05 Oct 2026 08:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:49:41.277051
• Title: HuatuoGPT-3: RL-Only Domain Adaptation from Base Models
• Title（参考訳）: HuatuoGPT-3:ベースモデルからのRL専用ドメイン適応
• Abstract要約: ドメイン適応は、汎用の大規模言語モデル(LLM)をターゲットドメインの専門家に変えることを目的としています。 政策改善のための一段階政策最適化(One-stage Policy Optimization, OnePO)を提案する。 OnePOはHealthBench(Total)で67.2を達成し、SFT+RLと純RLをそれぞれ2.7ポイント、純RLを7.4ポイント上回った。
• 参考スコア（独自算出の注目度）: 73.26559124332944
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain adaptation aims to turn a general-purpose large language model (LLM) into an expert for a target domain. While the dominant SFT+RL pipeline offers a convenient cold start, it may reduce exploration diversity and introduces additional complexity through multi-stage optimization. These limitations motivate RL-only adaptation. However, pure on-policy RL suffers from a cold-start problem, while mixed-policy RL still falls short: informative tokens in teacher outputs are learned too slowly in early training, and stale teacher outputs can hinder later improvement. We identify these two failure modes as Gradient Starvation and Teacher-Distribution Anchoring. To address them, we propose One-stage Policy Optimization (OnePO), which treats teacher outputs as transient guidance for policy improvement. OnePO combines Adaptive Objective Evolution to strengthen learning on informative low-probability teacher tokens and Teacher Retirement to discard teacher outputs once the current policy can surpass them. On medical adaptation, OnePO achieves 67.2 on HealthBench (Total) with only 20K training samples, outperforming SFT+RL and pure RL by 2.7 and 7.4 points, respectively. We further scale OnePO to produce HuatuoGPT-3, an open-source medical LLM series whose 27B variant reaches 70.1 on HealthBench (Total) and 71.4 on HealthBench Professional, surpassing frontier models such as GPT-6 Astra. Models and code are available at https://github.com/FreedomIntelligence/HuatuoGPT-3.
• Abstract（参考訳）: ドメイン適応は、汎用の大規模言語モデル(LLM)をターゲットドメインの専門家に変えることを目的としています。 支配的なSFT+RLパイプラインは便利なコールドスタートを提供するが、探索の多様性を減らし、マルチステージ最適化によってさらなる複雑さをもたらす可能性がある。 これらの制限はRLのみの適応を動機付けている。 しかし、純粋なオンラインRLはコールドスタートの問題に悩まされる一方、混合政治RLは依然として不足している。 これら2つの障害モードを,Gradient StarvationとTeacher-Distribution Anchoringと同定する。 そこで我々は,政策改善のための一段階政策最適化(One-stage Policy Optimization, OnePO)を提案する。 OnePOは、適応的客観的進化(Adaptive Objective Evolution)を組み合わせて、情報に富んだ低確率の教師トークンの学習を強化し、現在の方針がそれを超えると教師のアウトプットを廃止する。 医療適応では、OnePOはHealthBench(Total)で、20Kのトレーニングサンプルで67.2を達成し、SFT+RLと純RLをそれぞれ2.7ポイント、純RLを7.4ポイント上回っている。 さらにOnePOをスケールして、Huatuo GPT-3というオープンソースの医療用LLMシリーズを制作し、27Bの変種がHealthBench(Total)で70.1、HealthBench Professionalで71.4に達し、GPT-6 Astraのようなフロンティアモデルを上回った。 モデルとコードはhttps://github.com/FreedomIntelligence/HuatuoGPT-3.comで入手できる。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Weak-to-Strong Generalization via Direct On-Policy Distillation [37.773464081962466]
  検証可能な報酬を用いた強化学習(RLVR)は、言語モデル推論を改善するための強力なレシピである。 ターゲットモデルがトレーニング中に多数のロールアウトを生成する必要があるため、すべての新しい強力なモデルで繰り返すのはコストがかかる。 ロールアウトが安価である小さなモデル上でRLを実行し、RLが学習したことを再利用し、より強力なターゲットモデルを改善する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:58Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation [0.0]
  本稿では,崖のプロンプトをターゲットとした自己蒸留による標準RLを増強するハイブリッド蒸留政策最適化(HDPO)を提案する。 教師と生徒は同じ重み(入力でのみ異なる)を共有しているため、実現可能性のギャップは証明可能な境界である。 Qwen2.5-Math-1.5B-InstructによるOpenMath Instruct-2の実験は、HDPOが常にカバレッジメトリクスを改善していることを示している。
  論文  参考訳（メタデータ） (2026-03-25T02:59:36Z)
• From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning? [76.288870982181]
  タンパク質言語モデル(PLM)は、大規模事前学習と拡張性のあるアーキテクチャを通じて高度な計算タンパク質科学を持つ。 強化学習(RL)は探索を拡大し、タンパク質設計における正確な多目的最適化を可能にした。 RLはサンプリング効率を向上し,さらに重要な点として,教師あり学習で捉えない能力を明らかにするかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-02T01:31:10Z)
• R1-Code-Interpreter: LLMs Reason with Code via Supervised and Multi-stage Reinforcement Learning [23.795932850992816]
  R1-Code-Interpreterは,マルチターン制御微調整(SFT)と強化学習(RL)によって訓練されたテキストのみの大規模言語モデル(LLM)の拡張である。 144種類の多種多様な推論・計画タスクにまたがる汎用コードインタープリタのトレーニングは,タスクの不均一性や有効サンプルの不足による重大な課題を呈している。 最終モデルであるR1-CI-14Bは、37のテストタスクの平均精度を44.1%から72.4%に改善し、テキストのみのGPT-4o (58.6%) と GPT-4o with Code Interpreter (70.9%) を上回りました。
  論文  参考訳（メタデータ） (2025-05-27T18:47:33Z)
• Scalable Reinforcement Post-Training Beyond Static Human Prompts: Evolving Alignment via Asymmetric Self-Play [52.3079697845254]
  evaは、オフラインとオンラインのRLポストトレーニングの両方で、言語モデルがトレーニングプロンプトを適応的に作成できるようにする最初の方法である。 我々は,エバが有効なRLキュリキュラを作成でき,アブレーションにまたがって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T08:15:32Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。