論文の概要: World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments

• arxiv url: http://arxiv.org/abs/2607.01470v1
• Date: Wed, 01 Jul 2026 21:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.592976
• Title: World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments
• Title（参考訳）: 臨床薬品に対する世界的フィードバック:FHIR環境におけるRLの診断
• Abstract要約: 臨床プロトコル実行タスクは、世界からのフィードバックからRLの自然な候補となる。 RLを適用するには、サウンドフィードバックチャネルと十分なベース機能が必要です。 decision/format-knowledge/lookup 分類は、RL学習可能性を予測し、修正を処方する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical protocol-execution tasks -- checking a lab value, applying a threshold, placing a correctly structured FHIR order -- are natural candidates for RL from world feedback: once clinical SMEs encode decision logic into a verifier, that verifier grades unlimited rollouts without per-episode annotation. But applying RL requires a sound feedback channel and sufficient base capability. We audit MedAgentBench v1/v2, find a 41.7\% silent-finish ceiling that makes inaction the RL dominant strategy, and construct \textbf{MedAgentBench-v3 (MAB-v3)} (508 tasks, 8.9\% ceiling). Training Qwen3-8B exposes two structural barriers: a \emph{capability ceiling} (10/20 task types have 0\% base performance, zero gradient) and a \emph{format-knowledge barrier} (3/20 types require exact clinical codes undiscoverable by exploration). Pure RL reaches 18.2\% pass@1 vs.\ 34.1\% for rule-based SFT; the 15.9~pp gap is attributable entirely to these barriers. A decision/format-knowledge/lookup taxonomy predicts RL learnability and prescribes the fix: SFT to inject codes, RL to learn conditionals.
• Abstract（参考訳）: 臨床プロトコル実行タスク -- ラボ値をチェックし、しきい値を適用し、正しく構造化されたFHIRオーダーを配置する -- は、世界からのフィードバックからRLの自然な候補である。 しかし、RLを適用するには、音のフィードバックチャネルと十分なベース能力が必要です。 We audit MedAgentBench v1/v2, find a 41.7\% quiet-finish ceiling that makes inaction the RL dominant strategy, and construct \textbf{MedAgentBench-v3 (MAB-v3)} (508 Task, 8.9\% ceiling)。 トレーニング Qwen3-8Bは2つの構造的障壁を露呈している: \emph{capability ceiling} (10/20タスクタイプは、0\%のベースパフォーマンス、ゼロ勾配)と \emph{format-knowledge barrier} (3/20タイプは、探索によって発見できない正確な臨床コードを必要とする)。 純RLは18.2\% pass@1 vs。 規則に基づく SFT の場合、34.1\% であり、15.9~pp のギャップはこれらの障壁に完全に寄与する。 decision/format-knowledge/lookup taxonomy は、RLの学習可能性を予測し、修正を規定する: SFT はコードを注入し、RL は条件を学習する。

関連論文リスト

• From Base Rollouts to RL Reasoning: A Budgeted Search Perspective [18.608302860158872]
  検証可能な報酬(RLVR)による強化学習は、言語モデル推論を改善するが、これらの効果が推論時復号と探索にどのように関係するかは、まだ不明である。 我々は、トークンレベルのサンプリング、ビームライクな検索、ツリー検索、シーケンスレベルの再サンプリングを、共有予算の運用空間上で実行可能なポリシーとして表現するUDF(Unified Decoding Framework)を用いて、これを行動的に研究する。 そこで,SimpleRL-Zoo の Base/RL チェックポイントをペア化することにより,RL のデフォルト政治曲線を Base 動作点の構造化経路で近似できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-01T14:08:39Z)
• Beyond Correctness: Validity-Oriented Evaluation of Biomedical LLM Judges [0.7373060295520485]
  高品質な人的判断が乏しい場合に, バイオメディカルLLM判定器を評価するための, スケーラブルで妥当性を重視したパイプラインを提案する。 我々は、評価可能な選好ペアを生成する決定論的、メートル法に基づく突然変異を用いて、既存の人間ラベル付きベンチマークを拡張した。 我々は、3つの展開関連次元、すなわちメートル法由来のゴールドラベルに対する正当性、繰り返しサンプリングの下での正当性、要求された出力フォーマットへの適合性を用いて、集合的正当性以上の判断を評価する。
  論文  参考訳（メタデータ） (2026-08-29T08:09:29Z)
• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• Reinforcement Learning with Robust Rubric Rewards [30.826907231502663]
  本稿では,ロバスト・リワードによる強化学習(textRLR3$)を提案し,RLVRをタスクレベルの検証から基準レベルの検証まで拡張する。 $textRLR3$は2つの実行パスを通してインスタンス固有のルーリックをルーティングする。 textRLR3$はRLVRを一貫して上回り、ベースモデルよりも4.7ポイント向上し、公式のインストラクション・ツー・シンキングモデルギャップを超えた。
  論文  参考訳（メタデータ） (2026-05-28T17:11:03Z)
• What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA [6.163604976615509]
  医療RAGはエビデンスベースのクレームを必要とするため、クレームレベルのNLIチェッカーを検索強化されたRLに接続するのは直感的である。 NLIチェッカーのバックエンドをGRPO訓練医療RAGエージェント内のプロセス報酬として比較した。
  論文  参考訳（メタデータ） (2026-05-25T16:06:06Z)
• When Are RL Hyperparameters Benign? A Study in Offline Goal-Conditioned RL [9.430246534202857]
  オフラインDeep Reinforcement Learning(RL)におけるハイパーパラメータ構成の変化に対するロバストさを観察する。 トレーニング中のハイパーパラメータ構成の変化に対する高い感度は、RLでは必然ではなく、ブートストラップのダイナミクスによって増幅される。 これらの結果は、トレーニング中のハイパーパラメータ構成の変化に対する高い感度は、RLでは必然ではなく、ブートストラップのダイナミクスによって増幅されることを示唆している。
  論文  参考訳（メタデータ） (2026-02-05T09:08:17Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning [93.19037653970622]
  本研究では,通常のRGBやRGB-D画像から直接検証可能な信号を導出する自己教師付きRLパラダイムである空間SSRLを紹介する。 我々のタスクの訓練は、一般的な視覚能力を維持しながら空間的推論を大幅に改善する。 以上の結果から,単純で本質的な監視がRLVRを大規模に実現し,LVLMの空間知能を高めるための実践的経路が示唆された。
  論文  参考訳（メタデータ） (2025-10-31T16:30:08Z)
• From Supervision to Exploration: What Does Protein Language Model Learn During Reinforcement Learning? [76.288870982181]
  タンパク質言語モデル(PLM)は、大規模事前学習と拡張性のあるアーキテクチャを通じて高度な計算タンパク質科学を持つ。 強化学習(RL)は探索を拡大し、タンパク質設計における正確な多目的最適化を可能にした。 RLはサンプリング効率を向上し,さらに重要な点として,教師あり学習で捉えない能力を明らかにするかどうかを問う。
  論文  参考訳（メタデータ） (2025-10-02T01:31:10Z)
• Decomposing Elements of Problem Solving: What "Math" Does RL Teach? [22.517954679764244]
  私たちは問題解決を、計画、実行、検証という基本的な機能に分解します。 RLを訓練したモデルは、計画スキルが不十分なため、基本的に新しい問題に悩まされ、"カバーウォール"にぶつかっていることを示す。 本研究は, LLM推論の強化におけるRLの役割について考察し, 重要な限界を明らかにするとともに, これらの障壁を克服するための道筋を示唆する。
  論文  参考訳（メタデータ） (2025-05-28T18:18:49Z)
• Understanding R1-Zero-Like Training: A Critical Perspective [73.25430192337235]
  ベースモデルとRLの2つのコアコンポーネントを分析し,R1-Zeroライクなトレーニングを批判的に検討した。 本稿では,DeepSeek-V3-Baseを含む幅広いベースモデルについて検討し,事前学習特性がRL性能に与える影響について考察する。 AIME 2024では7Bベースモデルで43.3%の精度を達成できる最小限のR1-Zeroレシピを提案する。
  論文  参考訳（メタデータ） (2025-03-26T17:59:14Z)
• PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation [66.79238445033795]
  より厳密なSRL評価指標PriMeSRLを提案する。 また,PriMeSRLは,すべてのSoTA SRLモデルの品質評価を著しく低下させることを示した。 また、PriMeSRLは、SoTA SRLモデルにおける実際の故障を必然的にペナルティ化することを示す。
  論文  参考訳（メタデータ） (2022-10-12T17:04:28Z)
• Does Zero-Shot Reinforcement Learning Exist? [11.741744003560095]
  ゼロショットRLエージェント(ゼロショットRL agent)は、任意のRLタスクを、追加の計画や学習なしで即座に解決できるエージェントである。 これは報酬中心のRLパラダイムから"制御可能な"エージェントへのシフトを表している。 近似ゼロショットRLの戦略は、後続特徴(SF)や前方表現(FB)を用いて提案されている。
  論文  参考訳（メタデータ） (2022-09-29T16:54:05Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。