論文の概要: Sparse Gaussian-Mixture-Model Q-Functions via Hadamard Overparametrization for Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.23474v1
• Date: Sun, 26 Jul 2026 05:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.125535
• Title: Sparse Gaussian-Mixture-Model Q-Functions via Hadamard Overparametrization for Online Reinforcement Learning
• Title（参考訳）: オンライン強化学習のためのアダマールオーバーパラメトリゼーションによるスパースガウスモデルQ-Function
• Abstract要約: 本稿では, スパースガウス混合モデルQ関数(S-GMM-QFs)に基づく強化学習(RL)のためのオンライン・オフ・ポリシー・イテレーション・フレームワークを開発する。 その結果,S-GMM-QFsはRL法よりもかなり少ないパラメータを使用でき,観察された遷移の速さで改善できることがわかった。
• 参考スコア（独自算出の注目度）: 7.056697401102689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper develops an online, off-policy policy-iteration framework for reinforcement learning (RL), based on sparse Gaussian-mixture-model Q-functions (S-GMM-QFs). The framework reconciles streaming, non-stationary data with the Riemannian structure of the parameter space while handling distributional mismatch through experience replay. S-GMM-QFs are introduced via Hadamard overparametrization, enabling interpretable sparsification through smooth regularization that facilitates Riemannian-based optimization. Overparametrization allows the framework to adaptively identify meaningful components from a large initial pool, yielding sparse models where interpretability emerges naturally from geometry: each component's parameters (means and covariances) explicitly encode its geometric role in the ambient state-action space. These geometric roles are learned through online gradient descent on a smooth objective over a (Cartesian-product) Riemannian manifold. Numerical tests demonstrate that S-GMM-QFs match or exceed deep RL methods while using substantially fewer parameters and achieving faster improvement per observed transition. Notably, parameter efficiency and interpretability combine to maintain strong generalization in low-parameter regimes where sparsified deep RL approaches degrade.
• Abstract（参考訳）: 本稿では, ガウス混合モデルQ-関数(S-GMM-QFs)に基づく強化学習(RL)のためのオンライン・オフ・ポリシー・イテレーション・フレームワークを開発する。 このフレームワークは、ストリーミングの非定常データをパラメータ空間のリーマン構造と照合し、経験的な再生を通じて分布ミスマッチを処理する。 S-GMM-QFはアダマール過パラメトリゼーション(英語版)を通じて導入され、リーマンの最適化を容易にする滑らかな正規化を通じて解釈可能なスパーシフィケーションを可能にする。 オーバーパラメトリゼーションにより、フレームワークは大きな初期プールから意味のあるコンポーネントを適応的に識別することができ、各コンポーネントのパラメータ(平均と共分散)が周囲の状態-作用空間における幾何学的役割を明示的にエンコードする、解釈可能性が自然に現れるスパースモデルが得られる。 これらの幾何学的役割は、(カルテシアン積)リーマン多様体上の滑らかな対象上のオンライン勾配降下を通して学習される。 数値実験により,S-GMM-QFsはRL法と一致するか,あるいは超えるかを示すとともに,パラメータを著しく少なくし,観測された遷移の速さで向上することを示した。 特に、パラメータ効率と解釈可能性が組み合わさって、疎化深度RLアプローチが劣化する低パラメータ状態の強い一般化を維持する。

関連論文リスト

• Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback [56.69850045068714]
  逐次的2段階プロセスとして方程式発見をフレーム化する方法である textitInfluence-Guided Regression (IGSR) を導入する。 LLM-SRBench, 薬理学的PKPDモデル, 疫学シミュレーション, 実世界のゲノムデータなど, IGSRの有効性を示す。
  論文  参考訳（メタデータ） (2026-05-27T23:48:01Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Gaussian-Mixture-Model Q-Functions for Policy Iteration in Reinforcement Learning [7.056697401102689]
  本稿では, ガウス混合モデル(GMM)のQ-関数損失の直接サロゲートとして, 関数近似を新たに導入する。 これらのパラメトリックモデルはGMM-QFと呼ばれ、相当な表現能力を持っている。 それらは、幅広い種類の函数に対する普遍近似である。
  論文  参考訳（メタデータ） (2025-12-21T15:00:32Z)
• Element-wise Modulation of Random Matrices for Efficient Neural Layers [0.0]
  軽量で学習可能な要素ワイドパラメータによって変調された固定ランダム行列を用いて,特徴混在を適応から切り離す新しい手法を提案する。 このアーキテクチャは、トレーニング可能なパラメータ数を、様々なベンチマークで信頼性を維持しながら、線形スケールに大幅に削減する。
  論文  参考訳（メタデータ） (2025-12-15T16:16:53Z)
• Online reinforcement learning via sparse Gaussian mixture model Q-functions [7.056697401102689]
  本稿では,強化学習のための構造化・解釈可能なオンラインポリシイテレーションフレームワークを提案する。 スパースガウス混合モデルQ-函数(S-GMM-QFs)の新たなクラスを中心に構築されている。 数値実験により,S-GMM-QFは標準ベンチマーク上での高密度深度RL(DeepRL)法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-09-18T03:37:11Z)
• Deep Equilibrium models for Poisson Imaging Inverse problems via Mirror Descent [7.248102801711294]
  ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、固定点を持つ暗黙のニューラルネットワークである。 我々は、非ユークリッド幾何学の仕方で定義されるミラー・ディクセントに基づく新しいDEC式を導入する。 本稿では,効率的なトレーニングと完全パラメータフリー推論が可能な計算戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-15T16:33:01Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Gaussian-Mixture-Model Q-Functions for Reinforcement Learning by Riemannian Optimization [4.192712667327955]
  本稿では,強化学習(RL)におけるQ関数損失の関数近似器として,ガウス混合モデル(GMM)の新たな役割を確立する。
  論文  参考訳（メタデータ） (2024-09-06T16:13:04Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。