Fugu-MT 論文翻訳(概要): Activation-Descent Regularization for Input Optimization of ReLU Networks

論文の概要: Activation-Descent Regularization for Input Optimization of ReLU Networks

arxiv url: http://arxiv.org/abs/2406.00494v1
Date: Sat, 1 Jun 2024 16:46:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 06:45:16.818895
Title: Activation-Descent Regularization for Input Optimization of ReLU Networks
Title（参考訳）: ReLUネットワークの入力最適化のためのアクティベーションDescent正則化
Authors: Hongzhan Yu, Sicun Gao,
Abstract要約: 本稿では、アクティベーションパターンの変化の影響を明示的に考慮し、ReLUネットワークの入力最適化のための新しいアプローチを提案する。アクティベーションパターンの離散空間を微分可能表現に変換し、各降下ステップを改善する正規化項を提案する。提案手法の有効性を実証し,提案手法の有効性を検証した。
参考スコア（独自算出の注目度）: 14.855585146315741
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a new approach for input optimization of ReLU networks that explicitly takes into account the effect of changes in activation patterns. We analyze local optimization steps in both the input space and the space of activation patterns to propose methods with superior local descent properties. To accomplish this, we convert the discrete space of activation patterns into differentiable representations and propose regularization terms that improve each descent step. Our experiments demonstrate the effectiveness of the proposed input-optimization methods for improving the state-of-the-art in various areas, such as adversarial learning, generative modeling, and reinforcement learning.
Abstract（参考訳）: 本稿では、アクティベーションパターンの変化の影響を明示的に考慮し、ReLUネットワークの入力最適化のための新しいアプローチを提案する。入力空間とアクティベーションパターンの双方における局所最適化ステップを分析し,より優れた局所降下特性を持つ手法を提案する。そこで我々は,アクティベーションパターンの離散空間を微分可能な表現に変換するとともに,各降下ステップを改善する正規化項を提案する。本実験は, 対人学習, 生成モデル, 強化学習など, 様々な分野における最先端技術向上のための入力最適化手法の有効性を実証するものである。

関連論文リスト

Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment [45.45508377432791]
本稿では、人気のある選好最適化手法を統合する数学的フレームワークであるReward-Aware Preference Optimization (RPO)を紹介する。 RPOは、様々な設計選択の影響を混乱させ、体系的に研究するための構造化されたアプローチを提供する。そこで我々は,このような設計選択をクリーンかつ直接アブレーションできる新しい実験装置を提案する。
論文参考訳（メタデータ） (2025-01-31T22:39:04Z)
Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [10.142949909263846]
継続的な学習は、モデルを永続的に取得し、保持することを可能にする。悲惨な忘れ物はモデルパフォーマンスを著しく損なう本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
論文参考訳（メタデータ） (2025-01-21T13:33:45Z)
Model Uncertainty in Evolutionary Optimization and Bayesian Optimization: A Comparative Analysis [5.6787965501364335]
ブラックボックス最適化問題は、多くの現実世界のアプリケーションで一般的な問題である。これらの問題はインプット・アウトプット・インタラクションを通じて内部動作へのアクセスなしに最適化する必要がある。このような問題に対処するために2つの広く使われている勾配のない最適化手法が用いられている。本稿では,2つの手法間のモデル不確実性の類似点と相違点を明らかにすることを目的とする。
論文参考訳（メタデータ） (2024-03-21T13:59:19Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
論文参考訳（メタデータ） (2023-12-28T23:15:18Z)
Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文参考訳（メタデータ） (2023-06-18T15:50:57Z)
Randomized Adversarial Style Perturbations for Domain Generalization [49.888364462991234]
本稿では,RASP(Randomized Adversarial Style Perturbation)と呼ばれる新しい領域一般化手法を提案する。提案アルゴリズムは, ランダムに選択されたクラスに対して, 対角方向の特徴のスタイルを乱し, 予期せぬ対象領域で観測される予期せぬスタイルに誤解されないよう, モデルを学習させる。提案アルゴリズムは,様々なベンチマークによる広範な実験により評価され,特に大規模ベンチマークにおいて,領域一般化性能が向上することを示す。
論文参考訳（メタデータ） (2023-04-04T17:07:06Z)
Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-17T00:26:31Z)
Resource-Efficient Invariant Networks: Exponential Gains by Unrolled Optimization [8.37077056358265]
本稿では,最適化に基づく不変ネットワーク構築のための新しい計算プリミティブを提案する。提案手法の効率向上と音質の実証的,理論的検討を行った。単純な階層的オブジェクト検出タスクに対して,効率的な不変ネットワークを構築する上で,その有用性を実証する。
論文参考訳（メタデータ） (2022-03-09T19:04:08Z)
Revisiting The Evaluation of Class Activation Mapping for Explainability: A Novel Metric and Experimental Analysis [54.94682858474711]
クラスアクティベーションマッピング(cam)アプローチは、アクティベーションマップの平均を重み付けすることで、効果的な可視化を提供する。説明マップを定量化するための新しいメトリクスセットを提案し、より効果的な方法を示し、アプローチ間の比較を簡素化します。
論文参考訳（メタデータ） (2021-04-20T21:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。