論文の概要: Selective Growing Q-Networks (SGQN): An Analysis of Adaptive Action Grids in Decoupled Q-Learning

• arxiv url: http://arxiv.org/abs/2610.20463v1
• Date: Wed, 14 Oct 2026 16:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.256691
• Title: Selective Growing Q-Networks (SGQN): An Analysis of Adaptive Action Grids in Decoupled Q-Learning
• Title（参考訳）: SGQN(Selective Growing Q-Networks):非結合Q-Learningにおける適応行動格子の解析
• Abstract要約: 成長するQ-Networks(GQN)は、粗いものから細かいものへと一様に解像度を成長させる。 SGQN(Selective Growing Q-Networks)を紹介する。 ビンは、高い推定Q値のビンの横に追加される。 低Q値のビンをプルーニングし、アクションをエプシロングレードで選択する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Value-based Q-learning for continuous control can discretise the action space, but the resolution of the discretisation trades early exploration against final precision. Growing Q-Networks (GQN) grow the resolution uniformly from coarse to fine. We introduce Selective Growing Q-Networks (SGQN), which keeps decoupled Q-learning and replaces uniform growth with an adaptive action grid: bins are added next to bins with high estimated Q-value, bins with low Q-value are pruned, and actions are chosen epsilon-greedily. On eight DeepMind Control Suite (DMControl) tasks with 2 to 12 action dimensions, SGQN has the highest mean final return among the compared methods on four, is within 1.1% of the best method on three more, and is 3.4% below Bang-Bang MPO on Walker Run, using on average 7.5 of 9 available bins per dimension. We then test whether the adaptive grid explains these results, and find that it does not. Growth activates every candidate bin and behaves like uniform growth, and removing pruning changes the return by at most 1.1%. Two other choices matter: starting from a coarse grid, since starting with all 9 bins produces collapsed seeds, and epsilon-greedy selection, since an annealed softmax lowers the return by 23% to 100%. SGQN is insensitive to its growth and pruning hyperparameters. It also differs from the GQN and DecQN baselines in other respects, notably one gradient update per environment step instead of one per eight, which we did not control for, so we do not attribute its advantage to a single component. We present SGQN as a competitive value-based method and as an analysis of which ingredients of a growing action grid matter.
• Abstract（参考訳）: 連続制御のための価値に基づくQ-ラーニングは、アクション空間を識別することができるが、離散化の解決は、最終的な精度に対して早期に探索を行う。 成長するQ-Networks(GQN)は、粗いものから細かいものへと一様に解像度を成長させる。 SGQN(Selective Growing Q-Networks)を導入し、分散Q-ラーニングを維持し、一様成長を適応的なアクショングリッドに置き換える: ビンは高い推定Q-値のビンの横に追加され、Q-値の低いビンはプルーニングされ、アクションはエプシロン-グレードリーに選択される。 2～12のアクションディメンションを持つ8つのDeepMind Control Suite(DMControl)タスクにおいて、SGQNは比較対象のメソッドの中で最も平均的な最終リターンを持ち、3つ以上のベストメソッドの1.1%以内であり、Walker RunのBang-Bang MPOより3.4%低い。 次に、アダプティブグリッドがこれらの結果を説明するかどうかを検証し、そうでないことを確かめる。 成長はすべての候補ビンを活性化し、一様成長のように振る舞う。 その他の2つの選択は、粗い格子から始め、すべての9つのビンから始まると、崩壊した種子を生産し、エプシロン-グリーディの選択は、熱処理されたソフトマックスにより、リターンを23%から100%低下させるためである。 SGQNは、その成長と刈り上げのハイパーパラメータに敏感である。 また、他の点ではGQNとDecQNのベースラインと異なり、特に環境ごとに1ステップずつの勾配が更新されている。 我々は,SGQNを競争価値に基づく手法として,また,成長する作用格子の成分の分析として提示する。

関連論文リスト

• SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL [23.46401628317993]
  本稿では、この区別をツリーベースの信用評価に組み込んだ選択推論ポリシー最適化(SIPO)を提案する。 そのスケールのない分岐基準は、一貫した相対的なスケールで生成スコアと兄弟のペナルティを保持する。 SIPOは比較手法の中で最も高いマルチホップとシングルホップの平均を達成している。
  論文  参考訳（メタデータ） (2026-09-28T10:09:48Z)
• Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints [4.095612503951238]
  エッジデプロイメントは、コンパクトなパラメータストレージと低ビット表現を備えた予測モデルを動機付けている。 本稿では、離散最適化問題としてDECの局所的な更新を定式化するQ-DEQを提案する。 5つの時系列予測データセット上でiTransformerのバックボーンを用いたQ-DEQを評価する。
  論文  参考訳（メタデータ） (2026-09-21T03:16:37Z)
• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
  メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。 メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。 4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
  論文  参考訳（メタデータ） (2026-08-29T21:34:47Z)
• Generative Bayesian Computation as a Scalable Alternative to Gaussian Process Surrogates [0.0]
  Inlicit Quantile Networks (IQNs) を用いた生成ベイズ計算(GBC)を提案する。 GBCは入出力ペアから完全条件量子関数を学習する。 アクティブラーニングでは、ランダム化された事前IQNアンサンブルは、深いGPアクティブラーニングよりもRMSEの約3倍低い値を達成する。
  論文  参考訳（メタデータ） (2026-02-24T22:29:17Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。