Fugu-MT 論文翻訳(概要): Policy Iteration with Human Feedback: Bringing Post-Training RL to In-context Learning

論文の概要: Policy Iteration with Human Feedback: Bringing Post-Training RL to In-context Learning

arxiv url: http://arxiv.org/abs/2608.16831v1
Date: Mon, 17 Aug 2026 17:16:43 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.81674
Title: Policy Iteration with Human Feedback: Bringing Post-Training RL to In-context Learning
Title（参考訳）: ヒューマンフィードバックによる政策反復: 学習後RLを文脈内学習に適用する
Abstract要約: 人間のフィードバックによるポリシーイテレーション(PIHF)は、言語ベースのタスクコンディショニングとコンテキスト内学習に取り組んでいる。 PIHFは事前訓練された言語モデルを実行基盤として使用し、永続的なリビジョンをバージョン管理された自然言語ポリシーとツールセットに移行する。累積アブレーションと超希薄なベンチマークを通じて、PIHF由来のポリシーは、Recall@1を1つのプロプライエタリエグゼキュータと3つのオープンウェイトエグゼキュータで改善した。
参考スコア（独自算出の注目度）: 2.4186365899373565
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative pretraining established reusable task representations; later work on language-based task conditioning and in-context learning showed that a fixed model could adapt its behavior from instructions and demonstrations. Policy Iteration with Human Feedback (PIHF) builds on this development and the recurrent evaluate-and-improve structure of generalized policy iteration. PIHF uses a pretrained language model as its execution substrate and moves persistent revision to a versioned natural-language policy and tool set. A language-model critic and clinical expert review complete-panel reasoning and tool-use trajectories to localize recurrent failures and form candidate revisions; the expert may reinterpret the evidence and retains authority over admission and rollback, while Recall@1 and Recall@5 validate outcomes after candidate execution. Across cumulative ablations and ultra-rare-disease benchmarks, a PIHF-derived policy improved Recall@1 in one proprietary executor and three open-weight executors spanning 3 to 49 billion active parameters. Gains were 32.7 percentage points for GPT-5.4 and 31.1 points for Qwen3.6-35B, a difference of 1.7 points. These results support the feasibility of using pretrained language models as fixed-weight execution substrates for expert-guided policy development in rare-disease diagnosis.
Abstract（参考訳）: 生成前訓練は再利用可能なタスク表現を確立し、後に言語ベースのタスクコンディショニングとインコンテキストラーニングの研究により、固定モデルがその動作を指示や実演から適応できることが判明した。人間フィードバックによる政策反復(PIHF)は、この開発と、一般化された政策反復の繰り返し評価・改善構造に基づいている。 PIHFは事前訓練された言語モデルを実行基盤として使用し、永続的なリビジョンをバージョン管理された自然言語ポリシーとツールセットに移行する。言語モデル評論家および臨床専門家は、繰り返し発生する障害をローカライズし、候補修正を形成するための完全なパネル推論とツール使用の軌跡をレビューする。専門家は、証拠を再解釈し、許可とロールバックに関する権限を保持し、Recall@1とRecall@5は、候補実行後の結果を検証する。累積アブレーションと超希薄なベンチマークを通じて、PIHF由来のポリシーは、Recall@1を1つのプロプライエタリエグゼキュータと3つのオープンウェイトエグゼキュータで改善した。 GPT-5.4では32.7ポイント、Qwen3.6-35Bでは31.1ポイント、Qwen3.6-35Bでは1.7ポイントだった。これらの結果は, 専門家誘導型政策開発のための固定重実行基板として事前学習言語モデルを使用することが, 希少診断において可能であることを裏付けるものである。

関連論文リスト

APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering [17.36907256920902]
APExは、対話履歴をインスタンスレベルの軌跡記憶とカテゴリレベルの手続きスキルに整理する階層的な経験利用フレームワークである。 APExは最先端のパフォーマンスを達成し、GPT-5.4を14.7ポイント、メモリ拡張ベースラインを3.0ポイント上回った。
論文参考訳（メタデータ） (2026-09-02T08:00:41Z)
TaPR: Test-Aware Policy Refinement for Feedback-Conditioned Code Generation [6.268849049716121]
Test-Aware Policy Refinement (TaPR)は、実行フィードバックを高密度なターン毎のテストパス比報酬に変換するフレームワークである。 LiveCodeBenchの219のコード生成問題に関する6つのモデルにおいて、TaPRはプールされた3ターン成功率(Pass@3)を2.44ポイント改善した。
論文参考訳（メタデータ） (2026-08-01T07:35:06Z)
Co-Evolving LLM Evaluators and Policies via DynamicRubric [67.2962847914162]
政策によって引き起こされたサンプルに対する評価者フィードバックによるポストトレーニングは、大きな言語モデルを改善するための主要なメカニズムとなる。反応条件付き評価器であるDynamicRubricを提案する。 8Bバックボーンを用いた実験では、DynamicRubricは評価器のパフォーマンスを改善し、ベースラインよりも強力なポリシー管理を提供する。
論文参考訳（メタデータ） (2026-07-22T12:35:40Z)
Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization [8.326287542160793]
命令に基づく分子最適化における問題について検討し、応答のみを教師付き微調整が多段階の推論を分解する問題について検討する。提案手法は,参照をいつ模倣するかを基準として,ポリシーが積極的に決定するパラダイムである。このパラダイムを2つの結合機構を通じて実現したアクティブグループ相対政策最適化(Active-GRPO)としてインスタンス化する。
論文参考訳（メタデータ） (2026-07-01T07:22:46Z)
RL with Learnable Textual Feedback: A Bilevel Approach [21.859437980060463]
We formalize a Stackelberg bilevel program and derive bilevel Natural Language Actor-Critic (Bi-NAC) Bi-NACは批評家と共同で報酬改善のためのフィードバックと、それを利用するアクターを訓練する。 MATH-500、MBPP、GPQA全体で、Bi-NACはRLおよび固定臨界基底線のサンプルおよびパラメータ効率を改善している。
論文参考訳（メタデータ） (2026-05-23T12:28:14Z)
EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics [86.49781345669436]
言語モデルは事前学習からかなりの評価知識を符号化する。現在のポストトレーニング手法は、報酬信号を生成するために外部の監督に依存している。 EVOLMは、モデルの評価能力を明示的な識別的ルーブリックに構造化する手法である。
論文参考訳（メタデータ） (2026-05-05T15:31:00Z)
Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
論文参考訳（メタデータ） (2025-10-02T09:55:26Z)
Critique-GRPO: Advancing LLM Reasoning with Natural Language and Numerical Feedback [59.078756231841574]
Critique-GRPOは、自然言語と数値フィードバックを統合して効果的なポリシー最適化を行うオンラインRLフレームワークである。批判-GRPOは、教師付き学習とRLに基づく微調整法を8つの難解な数学、STEM、一般的な推論タスクで一貫して上回っていることを示す。
論文参考訳（メタデータ） (2025-06-03T17:39:02Z)
Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文参考訳（メタデータ） (2023-08-28T20:46:07Z)
Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。動的パーソナライズされた価格設定などの問題の因果構造を形式化する。本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文参考訳（メタデータ） (2021-10-19T16:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。