論文の概要: Momba: Network Modernization Improves Multi-Objective Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.07180v1
• Date: Fri, 07 Aug 2026 12:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.499066
• Title: Momba: Network Modernization Improves Multi-Objective Reinforcement Learning
• Title（参考訳）: Momba: ネットワークの近代化は多目的強化学習を改善する
• Abstract要約: 多目的強化学習(MORL)は、対立する目標間のトレードオフをバランスさせる一連の政策を発見することを目的としている。 MORLアルゴリズムは一般的に、トレードオフで条件付けられた単純なフィードフォワードネットワークでそれらを表現している。 このことは、より表現力のある関数近似器でアルゴリズムの性能を改善することができるかどうかという問題を提起する。
• 参考スコア（独自算出の注目度）: 17.919614181921077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in deep reinforcement learning (RL) have shown that improving neural network architectures can yield substantial gains in sample efficiency and asymptotic performance without altering the underlying algorithms. In contrast, work on multi-objective reinforcement learning (MORL), which aims to discover a set of policies that balance trade-offs among conflicting objectives, has predominantly focused on algorithmic innovations, leaving the area of architectures underexplored. While the optimal policies and value functions can differ significantly depending on the trade-offs, MORL algorithms commonly represent them with simple feedforward networks conditioned on the trade-off. This raises the question of whether the performance of the algorithms could be improved with more expressive function approximators. In this paper, we integrate recent advances in neural network design: (i) observation and feature normalization, (ii) weight normalization, and (iii) modeling of distributional returns with an entropy-regularized MORL algorithm. The empirical results across standard continuous control benchmarks demonstrate that these changes substantially improve the quality of the produced solution sets without requiring major changes to the underlying algorithm.
• Abstract（参考訳）: 深部強化学習(RL)の最近の進歩は、ニューラルネットワークアーキテクチャの改善によって、基礎となるアルゴリズムを変更することなく、サンプル効率と漸近的性能が大幅に向上することを示した。 対照的に、対立する目標間のトレードオフをバランスさせる一連の政策の発見を目的とした多目的強化学習(MORL)の研究は、主にアルゴリズムの革新に焦点を合わせ、アーキテクチャの領域を過小評価している。 最適ポリシと値関数はトレードオフによって大きく異なる場合があるが、MORLアルゴリズムは一般的に、トレードオフを条件とした単純なフィードフォワードネットワークでそれらを表現している。 このことは、より表現力のある関数近似器でアルゴリズムの性能を改善することができるかどうかという問題を提起する。 本稿では,ニューラルネットワーク設計における最近の進歩を統合する。 (i)観察・特徴正規化 (二)体重正規化、及び 3)エントロピー規則化MORLアルゴリズムによる分布戻りのモデル化 標準的な連続制御ベンチマークによる実験結果から、これらの変更は、基礎となるアルゴリズムに大きな変更を加えることなく、生成したソリューションセットの品質を大幅に改善することを示した。

関連論文リスト

• Faster Predictive Coding Networks via Better Initialization [52.419343840654186]
  本稿では,従来のトレーニングサンプルの反復的進捗を抑えることを目的とした,予測符号化ネットワークのための新しい手法を提案する。 本実験は,教師なし設定と教師なし設定の両方において,収束速度と最終テスト損失が大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2026-01-28T08:52:19Z)
• Towards Guided Descent: Optimization Algorithms for Training Neural Networks At Scale [0.0]
  この論文は、古典的な一階法から近代的な高階法への最適化アルゴリズムの進化を研究する。 この分析は、現実世界のデータを表す異方性に直面する従来のアプローチの限界を明らかにする。 次に、これらの最適化アルゴリズムとより広範なニューラルネットワークトレーニングツールキットとの相互作用は、経験的成功に等しく不可欠である。
  論文  参考訳（メタデータ） (2025-12-20T14:20:46Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Graph-Supported Dynamic Algorithm Configuration for Multi-Objective Combinatorial Optimization [5.481047026874548]
  本稿では,多目的進化アルゴリズムを構成する新しいグラフニューラルネットワーク(GNN)のDRLを提案する。 動的アルゴリズムの構成をマルコフ決定過程としてモデル化し、グラフによる対象空間における解の収束を表現する。 多様なMOCO課題に対する実験により,本手法は従来手法およびDRL方式のアルゴリズム構成法よりも有効性と適応性に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T09:53:54Z)
• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  機械学習の創発は、トレーニングデータのスケールと構造から生じる能力の自発的な出現を指す。 我々は、出現の可能性を高めることを目的とした、新しい単純なニューラルネットワーク初期化スキームを導入する。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• A Differential Game Theoretic Neural Optimizer for Training Residual Networks [29.82841891919951]
  本稿では、残差接続と畳み込み層の両方を受け入れる一般化微分動的プログラミング(DDP)ニューラルアーキテクチャを提案する。 得られた最適制御表現は、トレーニング残余ネットワークを、状態拡張システム上での協調的軌道最適化と解釈できるゲーム論的視点を許容する。
  論文  参考訳（メタデータ） (2020-07-17T10:19:17Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。