Fugu-MT 論文翻訳(概要): Activation-Descent Regularization for Input Optimization of ReLU Networks

論文の概要: Activation-Descent Regularization for Input Optimization of ReLU Networks

arxiv url: http://arxiv.org/abs/2406.00494v1
Date: Sat, 1 Jun 2024 16:46:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 06:45:16.818895
Title: Activation-Descent Regularization for Input Optimization of ReLU Networks
Title（参考訳）: ReLUネットワークの入力最適化のためのアクティベーションDescent正則化
Authors: Hongzhan Yu, Sicun Gao,
Abstract要約: 本稿では、アクティベーションパターンの変化の影響を明示的に考慮し、ReLUネットワークの入力最適化のための新しいアプローチを提案する。アクティベーションパターンの離散空間を微分可能表現に変換し、各降下ステップを改善する正規化項を提案する。提案手法の有効性を実証し,提案手法の有効性を検証した。
参考スコア（独自算出の注目度）: 14.855585146315741
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a new approach for input optimization of ReLU networks that explicitly takes into account the effect of changes in activation patterns. We analyze local optimization steps in both the input space and the space of activation patterns to propose methods with superior local descent properties. To accomplish this, we convert the discrete space of activation patterns into differentiable representations and propose regularization terms that improve each descent step. Our experiments demonstrate the effectiveness of the proposed input-optimization methods for improving the state-of-the-art in various areas, such as adversarial learning, generative modeling, and reinforcement learning.
Abstract（参考訳）: 本稿では、アクティベーションパターンの変化の影響を明示的に考慮し、ReLUネットワークの入力最適化のための新しいアプローチを提案する。入力空間とアクティベーションパターンの双方における局所最適化ステップを分析し,より優れた局所降下特性を持つ手法を提案する。そこで我々は,アクティベーションパターンの離散空間を微分可能な表現に変換するとともに,各降下ステップを改善する正規化項を提案する。本実験は, 対人学習, 生成モデル, 強化学習など, 様々な分野における最先端技術向上のための入力最適化手法の有効性を実証するものである。

関連論文リスト

Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
論文参考訳（メタデータ） (2024-03-21T13:59:19Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms [13.134564730161983]
本稿では、勾配降下(SGD)とその変種に着目し、ディープラーニングの最適化に新しいアプローチを採用する。我々はSGDとその変種がSAMのような平らなミニマと同等の性能を示すことを示した。本研究は、トレーニング損失とホールドアウト精度の関係、およびSGDとノイズ対応変種の性能について、いくつかの重要な知見を明らかにした。
論文参考訳（メタデータ） (2024-03-01T14:55:22Z)
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文参考訳（メタデータ） (2023-06-18T15:50:57Z)
Efficient Training of Physics-Informed Neural Networks with Direct Grid Refinement Algorithm [0.0]
本研究では,物理インフォームドニューラルネットワーク(PINN)の枠組みにおける残点の適応サンプリングに適したアルゴリズムの開発について述べる。提案手法は,既存の適応サンプリング手法に固有の制約に対処することにより,計算効率と適応点配置の両方を効果的に保証する直接メッシュ改良手法を提案する。
論文参考訳（メタデータ） (2023-06-14T07:04:02Z)
Randomized Adversarial Style Perturbations for Domain Generalization [49.888364462991234]
本稿では,RASP(Randomized Adversarial Style Perturbation)と呼ばれる新しい領域一般化手法を提案する。提案アルゴリズムは, ランダムに選択されたクラスに対して, 対角方向の特徴のスタイルを乱し, 予期せぬ対象領域で観測される予期せぬスタイルに誤解されないよう, モデルを学習させる。提案アルゴリズムは,様々なベンチマークによる広範な実験により評価され,特に大規模ベンチマークにおいて,領域一般化性能が向上することを示す。
論文参考訳（メタデータ） (2023-04-04T17:07:06Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Resource-Efficient Invariant Networks: Exponential Gains by Unrolled Optimization [8.37077056358265]
本稿では,最適化に基づく不変ネットワーク構築のための新しい計算プリミティブを提案する。提案手法の効率向上と音質の実証的,理論的検討を行った。単純な階層的オブジェクト検出タスクに対して,効率的な不変ネットワークを構築する上で,その有用性を実証する。
論文参考訳（メタデータ） (2022-03-09T19:04:08Z)
Revisiting The Evaluation of Class Activation Mapping for Explainability: A Novel Metric and Experimental Analysis [54.94682858474711]
クラスアクティベーションマッピング(cam)アプローチは、アクティベーションマップの平均を重み付けすることで、効果的な可視化を提供する。説明マップを定量化するための新しいメトリクスセットを提案し、より効果的な方法を示し、アプローチ間の比較を簡素化します。
論文参考訳（メタデータ） (2021-04-20T21:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。