論文の概要: Ontology Concept Overlap as a Training Signal: Knowledge-Grounded Reinforcement Learning for Clinical Question Answering

• arxiv url: http://arxiv.org/abs/2610.06360v1
• Date: Mon, 05 Oct 2026 13:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 08:53:38.596229
• Title: Ontology Concept Overlap as a Training Signal: Knowledge-Grounded Reinforcement Learning for Clinical Question Answering
• Title（参考訳）: 学習信号としてのオントロジー概念のオーバーラップ : 臨床質問応答のための知識獲得強化学習
• Abstract要約: 言語モデルの強化学習は、人間の好みと二項検証という2つの報酬設計に依存している。 制御された語彙から軟式検証器をインスタンス化する。 GRPO の内部にエントロピー正規化 LLM 判定器を組み込む。
• 参考スコア（独自算出の注目度）: 0.010230706784800663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning post-training for language models relies on two reward designs: human preferences (RLHF, DPO) and binary verifiers (RLVR). Clinical question answering fits neither. Near-correct answers differ by a single substituted entity, and no executable check decides clinical correctness. We instantiate a soft verifier from a maintained controlled vocabulary: UMLS Concept Unique Identifier overlap (via scispaCy, set-level F1) gives a graded, externally specified reward computed without a model in the loop. We combine it inside GRPO with an entropy-normalised LLM judge, which covers the safety and evidence axes overlap cannot see, and a small consistency penalty on padding and repetition that keeps early-training samples scorable. This three-term composite improves over SFT on Phi-3-mini (3.8B) over MedQA by 2.9% on EM (0.700 vs 0.680) and 39% on Token-F1 (0.202 vs 0.145); on Llama-3.2-3B the corresponding gains are 14% on EM and 35% on Token-F1. We report Token-F1 as the primary metric because it credits partially-correct clinical content that EM discards at this open-generation scale. Main-table results are means over 3 seeds with standard deviations below 0.005. The method transfers to PubMedQA, where training on the PubMedQA train set with the same composite reward improves Token-F1 over SFT by 22% on Phi-3-mini and 17% on Llama-3.2-3B without retuning. A reward ablation on Phi-3, varying the judge-ontology split at a fixed consistency weight, attributes 3 EM points to the ontology term, the contribution that catches entity substitutions the judge cannot. Three negative findings constrain the design: DPO under random negatives underperforms SFT for strong-prior models but helps the weakest-prior one; PPO under a sparse neural reward diverges; GRPO with KL-in-loss collapses at 7B.
• Abstract（参考訳）: 言語モデルの強化学習は、人間の好み(RLHF、DPO)と二項検証(RLVR)という2つの報酬設計に依存している。 臨床の答えは一致しない。 ほぼ正しい答えは、1つの置換された実体によって異なり、実行可能チェックが臨床正当性を決定することはない。 UMLS Concept Unique Identifier overlap ( via scispaCy, set-level F1) は、ループのモデルなしで計算された、グレード付き、外部指定の報酬を与える。 GRPOの内部にはエントロピー正規化LDM判定器が組み合わされ,安全性とエビデンス軸が重なりあうことは不可能であり,早期学習サンプルの彩色性を維持するパディングと繰り返しの一貫性に小さなペナルティが生じる。 MedQA上のPhi-3-mini(3.8B)のSFTをEM(0.700 vs 0.680)で2.9%、Token-F1(0.202 vs 0.145)で39%改善し、Llama-3.2-3Bでは、EMで14%、Token-F1で35%向上した。 Token-F1 は,EM が捨てた部分的正当性クリニカルコンテンツを,このオープン・ジェネレーション・スケールで評価するため,主要な指標として報告する。 標準偏差は0.005未満の3種以上である。 この方式はPubMedQAに移管され、同じ複合報酬で設定されたPubMedQA列車のトレーニングはPhi-3-miniで22%、Llama-3.2-3Bで17%改善される。 Phi-3 に対する報酬の減算は、判定オントロジーが一定の整合重みで分割されるように変化し、3 EM の属性はオントロジー項であり、裁判官ができないエンティティ置換をキャッチする貢献である。 3つの負の発見は、ランダムな負のDPOは、強いプライマーモデルではSFTに劣るが、最も弱いプライアーモデルでは有効である、疎いニューラル報酬のPPOは分岐し、KL-in-lossのGRPOは7Bで崩壊する、という設計を制約する。

関連論文リスト

• From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders [0.0]
  本稿では,SBERT2S1について述べる。SBERT2S1は,文変換器をバイエンコーダ,クロスヘッド(C)および前処理残差(PFR)決定モデルに変換する。 6組の親と親のペアで、検索トレーニングはコンテンツを持つオプションのゼロショットマッチングを改善する。 2つの頭と5つの訓練目標の一致した格子は、CがPFRを全ての目標で上回っていることを示している。
  論文  参考訳（メタデータ） (2026-10-01T21:03:42Z)
• Representation Before Training: A Fixed-Budget Benchmark for Generative Medical Event Models [0.3250525349446657]
  我々は,表現決定が1世紀前の事前学習予算の共有後の下流予測にどのように影響するかを評価する。 我々はMIMIC-IVで28個の整形トランスを訓練し,30個の臨床結果について評価した。
  論文  参考訳（メタデータ） (2026-04-18T01:38:47Z)
• Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
  本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。 FD項は、PDE残基自体を置き換えることなく残留体を正則化する。 種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
  論文  参考訳（メタデータ） (2026-04-15T23:09:19Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
  内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。 コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。 我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
  論文  参考訳（メタデータ） (2026-04-13T17:40:31Z)
• Squeeze the Soaked Sponge: Efficient Off-policy Reinforcement Finetuning for Large Language Model [56.92219181993453]
  本稿では,PPOやGRPOなどのオンラインRFT手法をオフ・ポリティクスデータに活用するために,Reincarnating Mix-policy Proximal Policy Gradient (ReMix)を提案する。 ReMix は,(1) 効率的なトレーニングのための更新データ(UTD)比が増大した混成政策勾配,(2) 安定性と柔軟性のトレードオフのバランスをとるためのKL-Convex 政策制約,(3) 効率的な早期学習から安定した改善へのシームレスな移行を実現するための政策再編成の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2025-07-09T14:29:45Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。