論文の概要: Multi-Resolution Online Deterministic Annealing: A Hierarchical and
Progressive Learning Architecture
- arxiv url: http://arxiv.org/abs/2212.08189v3
- Date: Tue, 21 Mar 2023 04:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-03-24 01:12:33.259670
- Title: Multi-Resolution Online Deterministic Annealing: A Hierarchical and
Progressive Learning Architecture
- Title（参考訳）: マルチレゾリューションオンライン決定論的アニーリング:階層的・進歩的学習アーキテクチャ
- Authors: Christos Mavridis and John Baras
- Abstract要約: 本稿では,多解像度データ空間のプログレッシブパーティショニングに基づく汎用階層型学習アーキテクチャを提案する。
各最適化問題の解は、勾配のない近似更新を用いてオンラインで推定できることを示す。
教師なしおよび教師なしの学習問題に対して、漸近収束解析と実験結果を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hierarchical learning algorithms that gradually approximate a solution to a
data-driven optimization problem are essential to decision-making systems,
especially under limitations on time and computational resources. In this
study, we introduce a general-purpose hierarchical learning architecture that
is based on the progressive partitioning of a possibly multi-resolution data
space. The optimal partition is gradually approximated by solving a sequence of
optimization sub-problems that yield a sequence of partitions with increasing
number of subsets. We show that the solution of each optimization problem can
be estimated online using gradient-free stochastic approximation updates. As a
consequence, a function approximation problem can be defined within each subset
of the partition and solved using the theory of two-timescale stochastic
approximation algorithms. This simulates an annealing process and defines a
robust and interpretable heuristic method to gradually increase the complexity
of the learning architecture in a task-agnostic manner, giving emphasis to
regions of the data space that are considered more important according to a
predefined criterion. Finally, by imposing a tree structure in the progression
of the partitions, we provide a means to incorporate potential multi-resolution
structure of the data space into this approach, significantly reducing its
complexity, while introducing hierarchical variable-rate feature extraction
properties similar to certain classes of deep learning architectures.
Asymptotic convergence analysis and experimental results are provided for
supervised and unsupervised learning problems.
- Abstract（参考訳）: データ駆動最適化問題の解を徐々に近似する階層的学習アルゴリズムは、特に時間と計算資源の制限の下で、意思決定システムに不可欠である。
本研究では,多解像度データ空間の逐次分割に基づく汎用階層型学習アーキテクチャを提案する。
最適分割は、部分集合の数を増やして分割列を生成する最適化部分問題(英語版)の列を解いて徐々に近似される。
最適化問題の解は、勾配のない確率近似更新を用いてオンラインで推定できることを示す。
その結果、関数近似問題は分割のそれぞれの部分集合内で定義でき、2時間スケールの確率近似アルゴリズムの理論を用いて解くことができる。
これはアニーリングプロセスをシミュレートし、ロバストで解釈可能なヒューリスティックな方法を定義し、タスクに依存しない方法で学習アーキテクチャの複雑さを徐々に増やし、事前定義された基準に従ってより重要と考えられるデータ空間の領域を強調します。
最後に,分割の進行に木構造を導入することで,データ空間の潜在的多分解能構造をこのアプローチに組み込むことにより,その複雑さを著しく低減するとともに,ディープラーニングアーキテクチャのある種のクラスに類似した階層的可変レート特徴抽出特性を導入する。
教師付きおよび教師なし学習問題に対して漸近収束解析と実験結果が得られた。
関連論文リスト
- Quantized Hierarchical Federated Learning: A Robust Approach to
Statistical Heterogeneity [3.8798345704175534]
本稿では,コミュニケーション効率に量子化を組み込んだ新しい階層型フェデレーション学習アルゴリズムを提案する。
最適性ギャップと収束率を評価するための包括的な分析フレームワークを提供する。
この結果から,本アルゴリズムはパラメータの範囲で常に高い学習精度を達成できることが判明した。
論文 参考訳（メタデータ） (2024-03-03T15:40:24Z) - Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。
微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文 参考訳（メタデータ） (2023-02-24T18:41:48Z) - Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。
適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。
決定集合の低次元構造を高次元問題に活用する。
論文 参考訳（メタデータ） (2022-11-21T18:31:43Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - A Differentiable Approach to Combinatorial Optimization using Dataless
Neural Networks [20.170140039052455]
我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。
特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
論文 参考訳（メタデータ） (2022-03-15T19:21:31Z) - Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach [0.0]
人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。
複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-04T05:54:33Z) - Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。
厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。
このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文 参考訳（メタデータ） (2021-11-29T15:10:09Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - A Forward Backward Greedy approach for Sparse Multiscale Learning [0.0]
本稿では,カーネルが重み付きマルチスケール構造を持つRKHS(Reproduction Kernel Hilbert space)を提案する。
この空間における近似を生成するために、多スケール構造を持つ基底関数の集合をゆるやかに構成できる実用的なフォワードバックワードアルゴリズムを提供する。
我々は,様々なシミュレーションと実データ集合を用いて,アプローチの性能を解析する。
論文 参考訳（メタデータ） (2021-02-14T04:22:52Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。