論文の概要: DAMPER: Return-Prioritized Gradient Control for Smooth Policies

• arxiv url: http://arxiv.org/abs/2609.38903v1
• Date: Wed, 30 Sep 2026 03:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.150794
• Title: DAMPER: Return-Prioritized Gradient Control for Smooth Policies
• Title（参考訳）: DAMPER:Smooth Policiesの返却型グラディエント制御
• Abstract要約: DAMPER (Direction-Aware Magnitude-Controlled Projection with Explicit Return Priority) アクター勾配に反する補助成分を除去し、アクター勾配基準に対して保持された時間方向を拡大する。 6つの連続制御タスクにおけるTD3とSACの実験では、12のタスクバックボーンペアのネイティブエージェントに対して、アクションの発振が減少している。
• 参考スコア（独自算出の注目度）: 2.599882743586164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Actor-critic methods achieve strong performance in continuous control, but their policies can produce highly oscillatory actions. A common remedy is to add auxiliary smoothness losses. However, their contribution can be negligible when their gradients are small relative to the native actor gradient. Moreover, existing methods often combine multiple auxiliary losses, complicating loss balancing without necessarily improving the return-smoothness trade-off. We introduce DAMPER (Direction-Aware Magnitude-Controlled Projection with Explicit Return Priority), which combines the native actor gradient with a temporal-consistency gradient through conflict-conditioned projection and adaptive magnitude control. It removes the auxiliary component opposing the actor gradient and scales the retained temporal direction relative to the actor gradient norm, preserving positive alignment with the native actor gradient. Experiments with TD3 and SAC on six continuous-control tasks show reduced action oscillation relative to the native agents in all 12 task-backbone pairs and the best oscillation score among the compared methods in eight, with task-dependent return trade-offs.
• Abstract（参考訳）: アクター批判的手法は連続制御において強い性能を達成するが、そのポリシーは高い振動作用を生じさせる。 一般的な治療法は、補助的な滑らかさの損失を加えることである。 しかし、彼らの貢献は、彼らの勾配がネイティブアクター勾配と比較して小さいときに無視できる。 さらに、既存の手法は、しばしば複数の補助的損失を組み合わせ、損失バランスを複雑にし、必ずしもリターン・スムースネスのトレードオフを改善しない。 DAMPER (Direction-Aware Magnitude-Controlled Projection with Explicit Return Priority) を導入する。 アクター勾配に反対する補助成分を除去し、アクター勾配基準に対して保持された時間方向をスケールし、ネイティブアクター勾配と正の一致を保つ。 6つの連続制御タスクにおけるTD3とSACによる実験では、12のタスクバックボーン対におけるネイティブエージェントに対する作用の発振が減少し、タスク依存リターントレードオフを伴う8つの手法の中で最良の発振スコアが得られた。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning [21.543362368449156]
  スプリットラーニングにおける勾配マッチング攻撃(GMA)は、批判的だが未解明の仮定に依存している。 この一貫性により、好奇心の強いサーバは、観測結果に誘導勾配が説明されるシーケンスを探索することで、プライベートラベルを復元することができる。 本稿では,後方信号の最適化性を捨てることなく,この一貫性を損なうディフェンスであるグラディエントミラージュを提案する。
  論文  参考訳（メタデータ） (2026-08-19T10:20:33Z)
• HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization [82.42818558196615]
  In the-the-wild 3D Gaussian Splattingは、過渡的乱れと照明による視界不整合のため、依然として困難である。 本稿では、画像空間の監督と勾配レベルの最適化の両方からこの問題に対処するコンフリクト対応3DGSフレームワークを提案する。 本手法は,複雑な過渡トラクタとクロスビューの不整合の下で,最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2026-05-13T06:47:09Z)
• AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning [0.0]
  ロボット制御に事前訓練された視覚言語モデル(VLM)を適用するには、フローマッチングアクションエキスパートから高次連続勾配を、クロスエントロピーに特化して訓練されたバックボーンに注入する必要がある。 このクロスモーダル勾配非対称性は、VLMの視覚的問合せ能力(VQA)の急激で激しい侵食を引き起こす。 産業標準防衛は、勾配経路を完全に停止勾配で切断し、豊かな継続的監督を放棄するか、または、更新のランクを制約するローランクアダプタ(LoRA)を通してパラメータ容量を制限するか、したがって、訓練済み多様体を上書きする。
  論文  参考訳（メタデータ） (2026-04-17T13:49:57Z)
• A Unified Noise-Curvature View of Loss of Trainability [8.602734307457387]
  継続的学習におけるトレーニング容易性(LoT)の喪失は、タスクが進化するにつれて、ステップが改善されなくなります。 バッチサイズ対応勾配雑音境界と曲率ボラティリティ制御境界の2つの相補的基準を導入する。 このしきい値を用いることで、各レイヤを安全な限界以下に維持する、単純なレイヤごとのスケジューラを構築します。
  論文  参考訳（メタデータ） (2025-09-24T02:11:13Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Careful with that Scalpel: Improving Gradient Surgery with an EMA [30.8976309525556]
  簡単な和以上の勾配をブレンドすることで、パフォーマンスを向上させる方法を示す。 我々は,我々の手法であるBloopが,NLPおよび視覚実験において,より優れた性能を実現することを実証した。
  論文  参考訳（メタデータ） (2024-02-05T13:37:00Z)
• Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization [68.49738668084693]
  自己教師付き事前学習は、最近、大規模マルチモーダルデータで成功している。 クロスモダリティアライメント(CMA)は、弱くノイズの多い監視である。 CMAは、モダリティ間の衝突や偏見を引き起こす可能性がある。
  論文  参考訳（メタデータ） (2022-11-03T18:12:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。