論文の概要: InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training

• arxiv url: http://arxiv.org/abs/2510.15859v1
• Date: Fri, 17 Oct 2025 17:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.736144
• Title: InfiMed-ORBIT: Aligning LLMs on Open-Ended Complex Tasks via Rubric-Based Incremental Training
• Title（参考訳）: InfiMed-ORBIT:ルーブリックベースインクリメンタルトレーニングによるオープンエンディング複雑タスクのLLM調整
• Authors: Pengkai Wang, Qi Zuo, Pengwei Liu, Zhijie Sang, Congkai Xie, Hongxia Yang,
• Abstract要約: ORBITは、ハイテイクな医療対話用に特別に設計されたオープンなトレーニングフレームワークである。 解析の結果,ルーブリック駆動のRLsterは様々なシナリオで一貫した性能向上を示す。
• 参考スコア（独自算出の注目度）: 23.092267430951484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown substantial advances through reinforcement learning (RL), particularly in domains where rewards can be programmatically verified, such as mathematics and code. In these areas, models benefit from a well-defined operational base guided by explicit rule-based objectives. However, this progress reveals a significant limitation: in open-ended domains where rewards are ambiguous, subjective, or context-dependent, such as creative writing, scientific reasoning, and notably medical consultation, robust reward functions are lacking, making these areas challenging for current RL strategies. To bridge this gap, we introduce ORBIT, an open-ended rubric-based incremental training framework specifically designed for high-stakes medical dialogue. ORBIT integrates syn- thetic dialogue generation with the dynamic creation of rubrics, employing these rubrics to direct an incremental RL process. In particular, this approach does not depend on external medical knowledge or manual rules, instead utilizing rubric-guided feedback to shape learning. When implemented on the Qwen3-4B-Instruct model, our method can greatly enhance its performance on the HealthBench-Hard benchmark from 7.0 to 27.2 using only 2k samples, thus achieving state-of-the-art results for models of this scale. Our analysis confirms that rubric-driven RL fos-ters consistent performance gains across diverse consultation scenarios, going beyond simple numerical improvements. These findings underscore rubric-based feedback as a scalable strategy for advancing LLMs in intricate, open-ended tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強化学習(RL)を通じて、特に数学やコードなどの報酬をプログラム的に検証できる領域において、大幅な進歩を見せている。 これらの領域では、モデルは明確なルールベースの目的によって導かれる明確に定義された運用基盤の恩恵を受ける。 しかしながら、この進歩は、報酬が曖昧で主観的、文脈に依存しているオープンエンドドメインにおいて、創造的著作、科学的推論、特に医学的相談など、堅牢な報酬関数が欠如しており、これらの領域は現在のRL戦略に挑戦している。 このギャップを埋めるために、我々は、ハイテイク医療対話に特化したオープンエンドのルーリックベースのインクリメンタルトレーニングフレームワークであるORBITを紹介する。 ORBITはシンセティック対話生成とルーリックの動的生成を統合し、これらのルーリックを用いてインクリメンタルなRLプロセスを指示する。 特に、このアプローチは外部の医療知識や手動のルールに依存しず、代わりにルーリック誘導フィードバックを使って学習を形作る。 Qwen3-4B-Instructモデルに実装すると、2kサンプルのみを用いてHealthBench-Hardベンチマークの7.0から27.2の性能を大幅に向上し、このスケールのモデルに対して最先端の結果が得られる。 解析により,ルーブリック駆動のRLフォスターは,単純な数値的改善を超えて,多様なコンサルテーションシナリオにおいて一貫した性能向上を示す。 これらの知見は、複雑でオープンなタスクにおいてLLMを進めるためのスケーラブルな戦略として、ルーブリックベースのフィードバックを裏付けるものである。

関連論文リスト

• InternBootcamp Technical Report: Boosting LLM Reasoning with Verifiable Task Scaling [71.37579508777843]
  大規模言語モデル(LLM)は、複雑な推論機能を実現することによって、人工知能に革命をもたらした。 このギャップに対処するため、1000以上のドメイン分散タスク環境からなるオープンソースのフレームワークであるInternBootcampを紹介します。
  論文  参考訳（メタデータ） (2025-08-12T05:00:00Z)
• UR$^2$: Unify RAG and Reasoning through Reinforcement Learning [17.319590573147565]
  大規模言語モデル(LLM)は2つの相補的パラダイムを通じて顕著な能力を示してきた: 検索-拡張生成(RAG)と、検証リワード(RLVR)からの強化学習(Reinforcement Learning)である。 我々は、強化学習による検索と推論を統一する一般的なフレームワークUR2(Unified RAG and Reasoning)を提案する。 オープンドメインQA、MMLU-Pro、医学、数学的推論タスクにわたる実験は、UR$2$が既存のRAG法とRL法を大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2025-08-08T09:33:20Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• General-Reasoner: Advancing LLM Reasoning Across All Domains [64.70599911897595]
  強化学習(RL)は近年,大規模言語モデル(LLM)の推論能力の向上に強い可能性を示している。 本稿では,多分野にわたるLSM推論能力の向上を目的とした,新たなトレーニングパラダイムであるGeneral-Reasonerを提案する。 私たちは一連のモデルをトレーニングし、物理学、化学、金融、電子工学など幅広い分野をカバーする幅広いデータセットでそれらを評価します。
  論文  参考訳（メタデータ） (2025-05-20T17:41:33Z)
• SRPO: A Cross-Domain Implementation of Large-Scale Reinforcement Learning on LLM [18.275547804539016]
  Two-Staged History-Resampling Policy 最適化は AIME24 と LiveCodeBench ベンチマークにおける DeepSeek-R1-Zero-32B のパフォーマンスを上回る。 本研究では,(1)数学的推論と符号化能力の両立を図った2段階のクロスドメイン・トレーニングパラダイム,(2)非効率なサンプルに対処する手法であるヒストリ・サンプリング(HR)を紹介する。
  論文  参考訳（メタデータ） (2025-04-19T13:06:03Z)
• Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains [92.36624674516553]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデル(LLM)の数学的推論と符号化性能の向上に成功している。 本稿では,医学,化学,心理学,経済学,教育など,さまざまな現実世界領域におけるRLVRの有効性と拡張性について検討する。 我々は,2値検証による制限を克服するために,ソフトなモデルに基づく報酬信号を生成する生成的スコアリング手法を利用する。
  論文  参考訳（メタデータ） (2025-03-31T08:22:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。