論文の概要: Nonparametric Additive Value Functions: Interpretable Reinforcement Learning with an Application to Surgical Recovery
- arxiv url: http://arxiv.org/abs/2308.13135v2
- Date: Fri, 30 May 2025 14:29:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.346591
- Title: Nonparametric Additive Value Functions: Interpretable Reinforcement Learning with an Application to Surgical Recovery
- Title（参考訳）: 非パラメトリック付加価値関数:外科的回復のための解釈可能な強化学習
- Authors: Patrick Emedom-Nnamdi, Timothy R. Smith, Jukka-Pekka Onnela, Junwei Lu,
- Abstract要約: 強化学習における解釈可能な値関数を推定するための非パラメトリック加算モデルを提案する。
この方法は、フレキシブルな機械学習技術と医療応用に必要な解釈可能性とのギャップを埋める。
- 参考スコア（独自算出の注目度）: 8.890206493793878
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a nonparametric additive model for estimating interpretable value functions in reinforcement learning, with an application in optimizing postoperative recovery through personalized, adaptive recommendations. While reinforcement learning has achieved significant success in various domains, recent methods often rely on black-box approaches such as neural networks, which hinder the examination of individual feature contributions to a decision-making policy. Our novel method offers a flexible technique for estimating action-value functions without explicit parametric assumptions, overcoming the limitations of the linearity assumption of classical algorithms. By incorporating local kernel regression and basis expansion, we obtain a sparse, additive representation of the action-value function, enabling local approximation and retrieval of nonlinear, independent contributions of select state features and the interactions between joint feature pairs. We validate our approach through a simulation study and apply it to spine disease recovery, uncovering recommendations aligned with clinical knowledge. This method bridges the gap between flexible machine learning techniques and the interpretability required in healthcare applications, paving the way for more personalized interventions.
- Abstract（参考訳）: 強化学習における解釈可能な値関数を推定するための非パラメトリック加算モデルを提案し, パーソナライズされた適応的レコメンデーションによる術後回復の最適化に応用する。
強化学習は様々な領域で大きな成功を収めてきたが、近年の手法はニューラルネットワークのようなブラックボックスアプローチに依存しており、意思決定ポリシーに対する個々の特徴の検証を妨げている。
提案手法は,古典的アルゴリズムの線形性仮定の限界を克服し,明示的なパラメトリック仮定を伴わずに作用値関数を推定する柔軟な手法を提供する。
局所的なカーネルの回帰と基底展開を組み込むことで、動作値関数のスパースで付加的な表現を得ることができ、選択された状態特徴の非線形で独立な寄与と結合特徴対間の相互作用を局所的に近似し、検索することができる。
我々は,本手法をシミュレーション研究を通じて検証し,臨床知識と整合した勧告を明らかにするとともに,脊椎疾患の回復に応用する。
この方法は、柔軟な機械学習技術と医療アプリケーションに必要な解釈可能性のギャップを埋め、よりパーソナライズされた介入の道を開く。
関連論文リスト
- Double Debiased Machine Learning for Mediation Analysis with Continuous Treatments [38.70412001488559]
本稿では,継続的な治療を支援するメディエーション分析のための機械学習アルゴリズムを提案する。
本研究では,現実の医療データとシミュレーションによるアプローチの数値評価を行い,グリセミックコントロールが認知機能に与える影響を解析する。
論文 参考訳（メタデータ） (2025-03-08T10:46:47Z) - RieszBoost: Gradient Boosting for Riesz Regression [49.737777802061984]
本稿では,Riesz表現子を直接推定するために,その明示的な解析形式を必要とせず,新たな勾配向上アルゴリズムを提案する。
提案アルゴリズムは,様々な関数を対象とした間接推定手法と同等以上の性能を示す。
論文 参考訳（メタデータ） (2025-01-08T23:04:32Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Neuroevolutionary Feature Representations for Causal Inference [0.0]
本稿では,条件付き平均処理効果(CATE)の推定を支援する特徴表現の学習手法を提案する。
本手法は,特徴量から得られる結果を予測するために訓練されたニューラルネットワークの中間層に焦点をあてる。
論文 参考訳（メタデータ） (2022-05-21T09:13:04Z) - A Novel Tropical Geometry-based Interpretable Machine Learning Method:
Application in Prognosis of Advanced Heart Failure [4.159216572695661]
臨床診断支援システムなどの多くの実用化には,モデルの解釈可能性が不可欠である。
人間の理解可能なルールにおける入力変数と応答の関係をモデル化する,新しい解釈可能な機械学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-09T17:53:12Z) - Unifying Gradient Estimators for Meta-Reinforcement Learning via
Off-Policy Evaluation [53.83642844626703]
オフ・ポリシー評価に基づいて,高次値関数の高次微分を推定するための統一フレームワークを提供する。
本フレームワークは, ヘッセン推定の偏りと分散トレードオフを解明する特別事例として, 多くの先行的アプローチを解釈する。
論文 参考訳（メタデータ） (2021-06-24T15:58:01Z) - Variance-Aware Off-Policy Evaluation with Linear Function Approximation [85.75516599931632]
線形関数近似を用いた強化学習における非政治的評価問題について検討する。
本稿では,値関数の分散を推定し,フィルタQ-Iterationにおけるベルマン残差を再重み付けするアルゴリズムVA-OPEを提案する。
論文 参考訳（メタデータ） (2021-06-22T17:58:46Z) - Autonomous Learning of Features for Control: Experiments with Embodied
and Situated Agents [0.0]
本稿では,ポリシネットワークのトレーニング中に特徴抽出モジュールのトレーニングを継続する手法を提案する。
シーケンス・ツー・シークエンス・ラーニング(Sequence-to-Sequence Learning)は,従来の研究方法よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-09-15T14:34:42Z) - Interpretable Off-Policy Evaluation in Reinforcement Learning by
Highlighting Influential Transitions [48.91284724066349]
強化学習におけるオフ政治評価は、医療や教育などの領域における将来の成果を改善するために観察データを使用する機会を提供する。
信頼区間のような従来の尺度は、ノイズ、限られたデータ、不確実性のために不十分である可能性がある。
我々は,人間専門家が政策評価評価評価の妥当性を分析できるように,ハイブリッドAIシステムとして機能する手法を開発した。
論文 参考訳（メタデータ） (2020-02-10T00:26:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。