論文の概要: HMM for Discovering Decision-Making Dynamics Using Reinforcement Learning Experiments
- arxiv url: http://arxiv.org/abs/2401.13929v2
- Date: Fri, 26 Jul 2024 01:12:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 18:21:50.276522
- Title: HMM for Discovering Decision-Making Dynamics Using Reinforcement Learning Experiments
- Title（参考訳）: 強化学習実験を用いた意思決定ダイナミクスの発見のためのHMM
- Authors: Xingche Guo, Donglin Zeng, Yuanjia Wang,
- Abstract要約: 報酬処理異常がMDDの行動マーカーとなる可能性が示唆された。
近年の研究では、単一のRLモデルのみに基づく報酬学習の特徴付けが不十分であることが示唆されている。
本稿では報酬に基づく意思決定を解析するための新しいRL-HMMフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 5.857093069873734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Major depressive disorder (MDD) presents challenges in diagnosis and treatment due to its complex and heterogeneous nature. Emerging evidence indicates that reward processing abnormalities may serve as a behavioral marker for MDD. To measure reward processing, patients perform computer-based behavioral tasks that involve making choices or responding to stimulants that are associated with different outcomes. Reinforcement learning (RL) models are fitted to extract parameters that measure various aspects of reward processing to characterize how patients make decisions in behavioral tasks. Recent findings suggest the inadequacy of characterizing reward learning solely based on a single RL model; instead, there may be a switching of decision-making processes between multiple strategies. An important scientific question is how the dynamics of learning strategies in decision-making affect the reward learning ability of individuals with MDD. Motivated by the probabilistic reward task (PRT) within the EMBARC study, we propose a novel RL-HMM framework for analyzing reward-based decision-making. Our model accommodates learning strategy switching between two distinct approaches under a hidden Markov model (HMM): subjects making decisions based on the RL model or opting for random choices. We account for continuous RL state space and allow time-varying transition probabilities in the HMM. We introduce a computationally efficient EM algorithm for parameter estimation and employ a nonparametric bootstrap for inference. We apply our approach to the EMBARC study to show that MDD patients are less engaged in RL compared to the healthy controls, and engagement is associated with brain activities in the negative affect circuitry during an emotional conflict task.
- Abstract（参考訳）: MDD(Major depressive disorder)は、その複雑で異質な性質から、診断と治療の課題を呈する疾患である。
新たな証拠は、報酬処理異常がMDDの行動マーカーとなる可能性があることを示している。
報酬処理を測定するために、患者は選択や異なる結果に関連する刺激に反応するコンピュータベースの行動タスクを実行する。
強化学習(Reinforcement Learning, RL)モデルは、報酬処理の様々な側面を測定するパラメータを抽出し、患者が行動タスクでどのように意思決定するかを特徴付ける。
近年の研究では,1つのRLモデルのみに基づいて報酬学習を特徴付ける能力の欠如が示唆されている。
重要な科学的疑問は、意思決定における学習戦略のダイナミクスがMDDを持つ個人の報酬学習能力にどのように影響するかである。
EMBARC研究の確率的報酬タスク(PRT)に動機付けられ,報酬に基づく意思決定を解析するための新しいRL-HMMフレームワークを提案する。
我々のモデルは,隠れマルコフモデル(HMM)の下での2つの異なるアプローチ間の学習戦略の切り替えに対応している。
我々は連続RL状態空間を説明し、HMMにおける時間変化遷移確率を許容する。
パラメータ推定のための計算効率の良いEMアルゴリズムを導入し、推論に非パラメトリックブートストラップを用いる。
本研究はEMBARC研究に応用し,MDD患者は健常者に比べてRLへの関与が低く,情緒的コンフリクト作業中の負の影響回路における関与が脳活動と関連していることを示した。
関連論文リスト
- Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。
効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。
本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文 参考訳（メタデータ） (2024-01-18T08:12:23Z) - Cross-modality Guidance-aided Multi-modal Learning with Dual Attention
for MRI Brain Tumor Grading [47.50733518140625]
脳腫瘍は世界で最も致命的ながんの1つであり、子供や高齢者に非常に多い。
本稿では,MRI脳腫瘍グレーディングの課題に対処するために,新たな多モード学習法を提案する。
論文 参考訳（メタデータ） (2024-01-17T07:54:49Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Offline Reinforcement Learning with Instrumental Variables in Confounded
Markov Decision Processes [93.61202366677526]
未測定の共同設立者を対象にオフライン強化学習(RL)について検討した。
そこで本稿では, 最適クラスポリシーを見つけるための, 有限サンプルの準最適性を保証した多種多様なポリシー学習手法を提案する。
論文 参考訳（メタデータ） (2022-09-18T22:03:55Z) - MRI-based Multi-task Decoupling Learning for Alzheimer's Disease
Detection and MMSE Score Prediction: A Multi-site Validation [9.427540028148963]
MRIによる高齢者健診におけるアルツハイマー病(AD)の正確な検出とMMSEスコアの予測は重要な課題である
これら2つのタスクに関する従来の手法のほとんどは、シングルタスク学習に基づいており、それらの相関を考慮することは滅多にない。
本稿では,AD検出とMMSEスコア予測のためのMRIに基づくマルチタスク分離学習手法を提案する。
論文 参考訳（メタデータ） (2022-04-02T09:19:18Z) - Ambiguous Dynamic Treatment Regimes: A Reinforcement Learning Approach [0.0]
動的処理レジーム(DTR)は、このプロセスの形式化のために広く研究されている。
最適な治療体制を効率的に学習するための強化学習法を開発した。
論文 参考訳（メタデータ） (2021-12-08T20:22:04Z) - Identification of brain states, transitions, and communities using
functional MRI [0.5872014229110214]
ベイズモデルに基づく潜在脳状態のキャラクタリゼーションを提案し,後方予測の不一致に基づく新しい手法を提案する。
タスク-fMRIデータの解析により得られた結果は、外部タスク要求と脳状態間の変化点の間の適切な遅延を示す。
論文 参考訳（メタデータ） (2021-01-26T08:10:00Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳（メタデータ） (2021-01-13T03:20:20Z) - On the Reliability and Generalizability of Brain-inspired Reinforcement
Learning Algorithms [10.09712608508383]
モデルベースとモデルフリー制御を組み合わせた計算モデルは,前頭前野のRLと呼ばれ,人間が学習した高レベル政策に関する情報を確実にエンコードする。
これは、脳が一般的な問題を解決する方法を模倣する計算モデルが実用的な解決策をもたらす可能性を正式にテストする最初の試みである。
論文 参考訳（メタデータ） (2020-07-09T06:32:42Z) - Unified Models of Human Behavioral Agents in Bandits, Contextual Bandits
and RL [28.38826379640553]
逐次的意思決定のためのより汎用的で柔軟なパラメトリック・フレームワークを提案する。
多くの精神疾患の既往の報酬処理異常にインスパイアされ、臨床にインスパイアされたエージェントは興味深い行動軌跡を示した。
論文 参考訳（メタデータ） (2020-05-10T01:43:39Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳（メタデータ） (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。