論文の概要: Joint Modeling for Learning Decision-Making Dynamics in Behavioral Experiments

• arxiv url: http://arxiv.org/abs/2506.02394v1
• Date: Tue, 03 Jun 2025 03:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.387369
• Title: Joint Modeling for Learning Decision-Making Dynamics in Behavioral Experiments
• Title（参考訳）: 行動実験における学習意思決定ダイナミクスの連成モデリング
• Authors: Yuan Bian, Xingche Guo, Yuanjia Wang,
• Abstract要約: 主要なうつ病 (MDD) は障害や死亡の原因である。 本稿では,強化学習モデルとドリフト拡散モデルを統合する新しいフレームワークを提案する。 以上の結果から,MDD患者は健常者よりも全体的なエンゲージメントが低いことが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.2699007098398807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Major depressive disorder (MDD), a leading cause of disability and mortality, is associated with reward-processing abnormalities and concentration issues. Motivated by the probabilistic reward task from the Establishing Moderators and Biosignatures of Antidepressant Response in Clinical Care (EMBARC) study, we propose a novel framework that integrates the reinforcement learning (RL) model and drift-diffusion model (DDM) to jointly analyze reward-based decision-making with response times. To account for emerging evidence suggesting that decision-making may alternate between multiple interleaved strategies, we model latent state switching using a hidden Markov model (HMM). In the ''engaged'' state, decisions follow an RL-DDM, simultaneously capturing reward processing, decision dynamics, and temporal structure. In contrast, in the ''lapsed'' state, decision-making is modeled using a simplified DDM, where specific parameters are fixed to approximate random guessing with equal probability. The proposed method is implemented using a computationally efficient generalized expectation-maximization algorithm with forward-backward procedures. Through extensive numerical studies, we demonstrate that our proposed method outperforms competing approaches under various reward-generating distributions, both with and without strategy switching. When applied to the EMBARC study, our framework reveals that MDD patients exhibit lower overall engagement than healthy controls and experience longer decision times when they do engage. Additionally, we show that neuroimaging measures of brain activities are associated with decision-making characteristics in the ''engaged'' state but not in the ''lapsed'' state, providing evidence of brain-behavioral association specific to the ''engaged'' state.
• Abstract（参考訳）: 障害と死亡の主な原因である大うつ病(MDD)は、報酬処理異常と集中問題の関連がある。 EMBARC (Establiing Moderators and Biosignatures of Antidepressant Response in Clinical Care) 研究から得られた確率的報奨課題に触発され,RLモデルとドリフト拡散モデル(DDM)を統合した新たな枠組みを提案する。 複数のインターリーブ戦略間で意思決定が交互に行われることを示唆する新たな証拠として,隠れマルコフモデル(HMM)を用いて遅延状態の切り替えをモデル化する。 の状態では、決定はRL-DDMに従い、報酬処理、決定ダイナミクス、時間構造を同時にキャプチャする。 対照的に 'lapsed' 状態では、決定は単純化されたDDMを用いてモデル化される。 提案手法は,フォワード・バック・プロシージャを用いた計算効率の良い一般化予測最大化アルゴリズムを用いて実装した。 提案手法は, 様々な報酬発生分布において, 戦略切替を伴わずに, 競合する手法よりも優れていることを示す。 EMBARCに応用すると、MDD患者は健康的なコントロールよりも全体的なエンゲージメントが低く、エンゲージメント時間が長いことが判明した。 さらに,脳活動の神経画像計測は,「進行」状態の意思決定特性と相関するが,「経過」状態のものではないことを示し,脳-行動関連が「進行」状態に特異的であることを示す。

関連論文リスト

• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• HMM for Discovering Decision-Making Dynamics Using Reinforcement Learning Experiments [5.857093069873734]
  報酬処理異常がMDDの行動マーカーとなる可能性が示唆された。 近年の研究では、単一のRLモデルのみに基づく報酬学習の特徴付けが不十分であることが示唆されている。 本稿では報酬に基づく意思決定を解析するための新しいRL-HMMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T04:03:32Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Learning non-Markovian Decision-Making from State-only Sequences [57.20193609153983]
  非マルコフ決定過程(nMDP)を用いた状態のみ列のモデルに基づく模倣を開発する。 非マルコフ制約をもつ経路計画課題において提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-27T02:26:01Z)
• Decision-Dependent Distributionally Robust Markov Decision Process Method in Dynamic Epidemic Control [4.644416582073023]
  Susceptible-Exposed-Infectious-Recovered (SEIR) モデルは感染症の拡散を表すために広く用いられている。 本稿では,動的流行制御問題に対処するために,分布ロバストマルコフ決定プロセス(DRMDP)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T20:19:04Z)
• On the Complexity of Adversarial Decision Making [101.14158787665252]
  決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。 我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
  論文  参考訳（メタデータ） (2022-06-27T06:20:37Z)
• Identification of brain states, transitions, and communities using functional MRI [0.5872014229110214]
  ベイズモデルに基づく潜在脳状態のキャラクタリゼーションを提案し,後方予測の不一致に基づく新しい手法を提案する。 タスク-fMRIデータの解析により得られた結果は、外部タスク要求と脳状態間の変化点の間の適切な遅延を示す。
  論文  参考訳（メタデータ） (2021-01-26T08:10:00Z)
• MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement Learning [36.14516028564416]
  本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。 システムのサンプリング効率を高めるために,能動的学習法を提案する。 実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
  論文  参考訳（メタデータ） (2020-05-30T06:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。