論文の概要: Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation

• arxiv url: http://arxiv.org/abs/2406.08148v1
• Date: Wed, 12 Jun 2024 12:37:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:05:29.538080
• Title: Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation
• Title（参考訳）: 半漸進的Q-ラーニングにおける暗示バイアスの探索--Fokker-Planck方程式による効果的な失われた景観の可視化-
• Authors: Shuyu Yin, Fei Wen, Peilin Liu, Tao Luo,
• Abstract要約: 本稿では,Fokker-Planck方程式を導入し,サンプリングによって得られた部分的データを用いて,効率的な損失景観の構築と可視化を行う。 ロスランドスケープにおけるグローバルなミニマは, 効果のあるロスランドスケープにおけるサドルポイントに変化し, セミグラディエント手法の暗黙の偏りを示す。
• 参考スコア（独自算出の注目度）: 17.245293915129942
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-gradient Q-learning is applied in many fields, but due to the absence of an explicit loss function, studying its dynamics and implicit bias in the parameter space is challenging. This paper introduces the Fokker--Planck equation and employs partial data obtained through sampling to construct and visualize the effective loss landscape within a two-dimensional parameter space. This visualization reveals how the global minima in the loss landscape can transform into saddle points in the effective loss landscape, as well as the implicit bias of the semi-gradient method. Additionally, we demonstrate that saddle points, originating from the global minima in loss landscape, still exist in the effective loss landscape under high-dimensional parameter spaces and neural network settings. This paper develop a novel approach for probing implicit bias in semi-gradient Q-learning.
• Abstract（参考訳）: 半段階的なQ-ラーニングは多くの分野に適用されているが、明示的な損失関数が存在しないため、パラメータ空間におけるそのダイナミクスと暗黙のバイアスの研究は困難である。 本稿では,Fokker-Planck方程式を導入し,サンプリングによって得られた部分的データを用いて,2次元パラメータ空間内の有効損失景観の構築と可視化を行う。 この可視化は、ロスランドスケープのグローバルなミニマが、効果的なロスランドスケープのサドルポイントにどのように変換されるかを示し、セミグラディエントな手法の暗黙のバイアスも示している。 さらに、ロスランドスケープのグローバルミニマから派生したサドルポイントが、高次元パラメータ空間とニューラルネットワーク設定の下での効果的なロスランドスケープに依然として存在することを示す。 本稿では,半段階的なQ-ラーニングにおける暗黙のバイアスを探索するための新しい手法を開発する。

関連論文リスト

• Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
  ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。 Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。 我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
  論文  参考訳（メタデータ） (2024-06-11T15:01:20Z)
• On the Stability of Gradient Descent for Large Learning Rate [62.19241612132701]
  ニューラルネットワークトレーニングにおいて、エッジ・オブ・安定性(EoS)は、エポック上での損失関数の非単調な減少を特徴とする。 2次損失関数の下で最適化された線形ニューラルネットワークは、第1の仮定および第2の仮定に必要な条件を満たすことを示す。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• A Fair Loss Function for Network Pruning [93.0013343535411]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 偏見分類器を用いた顔分類と皮膚記述分類タスクの実験により,提案手法が簡便かつ効果的なツールであることを実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs) [0.0]
  本稿では,物理インフォームドニューラルネットワーク(PINN)を用いた偏微分方程式(PDE)の解法について検討する。 PINNは客観的関数の正規化用語として物理を用いるが、この手法はデータの欠如や解の事前知識の欠如において実用的ではない。 以上の結果から,高次PDEは逆伝播勾配を汚染し,収束を阻害することが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-20T20:46:07Z)
• Minimal Neural Atlas: Parameterizing Complex Surfaces with Minimal Charts and Distortion [71.52576837870166]
  我々は、新しいアトラスに基づく明示的なニューラルサーフェス表現であるミニマルニューラルアトラスを提案する。 その中核は完全学習可能なパラメトリック領域であり、パラメトリック空間の開平方上で定義された暗黙の確率的占有場によって与えられる。 我々の再構成は、トポロジーと幾何学に関する懸念の分離のため、全体的な幾何学の観点からより正確である。
  論文  参考訳（メタデータ） (2022-07-29T16:55:06Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features [38.05002597295796]
  簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層 興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
  論文  参考訳（メタデータ） (2022-03-02T17:00:18Z)
• Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
  ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。 また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
  論文  参考訳（メタデータ） (2021-07-23T13:37:14Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。