Fugu-MT 論文翻訳(概要): Rethinking Exponential Averaging of the Fisher

論文の概要: Rethinking Exponential Averaging of the Fisher

arxiv url: http://arxiv.org/abs/2204.04718v1
Date: Sun, 10 Apr 2022 16:28:27 GMT
ステータス: 処理完了
システム内更新日: 2022-04-12 14:27:27.027364
Title: Rethinking Exponential Averaging of the Fisher
Title（参考訳）: 漁業の指数平均化の再考
Authors: Constantin Octavian Puiu
Abstract要約: EA-CMアルゴリズムと“準正規化モデルのウェイク(Wake of Quadratic regularized model)”を関連づける。我々は新しいアルゴリズム「KL-Divergence Wake-Regularized Models」(KLD-WRM)を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In optimization for Machine learning (ML), it is typical that curvature-matrix (CM) estimates rely on an exponential average (EA) of local estimates (giving EA-CM algorithms). This approach has little principled justification, but is very often used in practice. In this paper, we draw a connection between EA-CM algorithms and what we call a "Wake of Quadratic regularized models". The outlined connection allows us to understand what EA-CM algorithms are doing from an optimization perspective. Generalizing from the established connection, we propose a new family of algorithms, "KL-Divergence Wake-Regularized Models" (KLD-WRM). We give three different practical instantiations of KLD-WRM, and show numerical results where we outperform K-FAC.
Abstract（参考訳）: 機械学習(ML)の最適化において、曲率行列(CM)推定が局所的な推定(EA-CMアルゴリズムを適用)の指数平均(EA)に依存するのが典型的である。このアプローチは正当化の原則はほとんどないが、実際によく使われる。本稿では,ea-cmアルゴリズムと「二次正規化モデルの和」との関係について述べる。アウトライン接続により、最適化の観点からea-cmアルゴリズムが何をしているかを理解することができます。確立された接続から一般化し,新しいアルゴリズムファミリーKL-Divergence Wake-Regularized Models (KLD-WRM)を提案する。 KLD-WRMの3つの実用的なインスタンス化を行い、K-FACより優れた数値結果を示す。

関連論文リスト

Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文参考訳（メタデータ） (2024-04-30T06:48:56Z)
Model-based Causal Bayesian Optimization [74.78486244786083]
乗算重み付き因果ベイズ最適化のための最初のアルゴリズム(CBO-MW)を提案する。グラフ関連の量に自然に依存するCBO-MWに対する後悔の限界を導出する。我々の実験は、共有モビリティシステムにおいて、ユーザの需要パターンを学習するためにCBO-MWをどのように使用できるかの現実的なデモを含む。
論文参考訳（メタデータ） (2023-07-31T13:02:36Z)
META-SMGO-$\Delta$: similarity as a prior in black-box optimization [1.282675419968047]
本稿では,近年提案されているグローバル最適化手法SMGO-$Delta$にMETA学習理論を組み入れることを提案する。本稿では,ベースラインアルゴリズムのMETA拡張の実用的メリットを示すとともに,その性能に理論的制約を与える。
論文参考訳（メタデータ） (2023-04-30T09:41:04Z)
Regularization and Optimization in Model-Based Clustering [4.096453902709292]
k-平均アルゴリズムの変種は、本質的に同じ球面ガウスの混合と、そのような分布から大きく逸脱するデータに適合する。一般のGMMに対してより効率的な最適化アルゴリズムを開発し、これらのアルゴリズムと正規化戦略を組み合わせ、過度な適合を避ける。これらの結果から, GMM と k-means 法の間の現状に新たな光を当て, 一般 GMM をデータ探索に利用することが示唆された。
論文参考訳（メタデータ） (2023-02-05T18:22:29Z)
Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-07-14T18:18:02Z)
Pretrained Cost Model for Distributed Constraint Optimization Problems [37.79733538931925]
分散制約最適化問題(DCOP)は、最適化問題の重要なサブクラスである。本稿では,DCOPのための新しい非巡回グラフスキーマ表現を提案し,グラフ表現を組み込むためにグラフ注意ネットワーク(GAT)を利用する。我々のモデルであるGAT-PCMは、幅広いDCOPアルゴリズムを向上するために、オフラインで最適なラベル付きデータで事前訓練される。
論文参考訳（メタデータ） (2021-12-08T09:24:10Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文参考訳（メタデータ） (2021-01-06T17:36:26Z)
Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
論文参考訳（メタデータ） (2020-09-05T21:44:39Z)
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
論文参考訳（メタデータ） (2020-06-23T01:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。