論文の概要: Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond
- arxiv url: http://arxiv.org/abs/2101.11517v1
- Date: Wed, 27 Jan 2021 16:20:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-01 21:04:41.718295
- Title: Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond
- Title(参考訳): 学習とビジョンの両レベル最適化を統一的な視点から探究する:調査とその先
- Authors: Risheng Liu, Jiaxin Gao, Jin Zhang, Deyu Meng and Zhouchen Lin
- Abstract要約: 機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
- 参考スコア(独自算出の注目度): 114.39616146985001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bi-Level Optimization (BLO) is originated from the area of economic game
theory and then introduced into the optimization community. BLO is able to
handle problems with a hierarchical structure, involving two levels of
optimization tasks, where one task is nested inside the other. In machine
learning and computer vision fields, despite the different motivations and
mechanisms, a lot of complex problems, such as hyper-parameter optimization,
multi-task and meta-learning, neural architecture search, adversarial learning
and deep reinforcement learning, actually all contain a series of closely
related subproblms. In this paper, we first uniformly express these complex
learning and vision problems from the perspective of BLO. Then we construct a
value-function-based single-level reformulation and establish a unified
algorithmic framework to understand and formulate mainstream gradient-based BLO
methodologies, covering aspects ranging from fundamental automatic
differentiation schemes to various accelerations, simplifications, extensions
and their convergence and complexity properties. Last but not least, we discuss
the potentials of our unified BLO framework for designing new algorithms and
point out some promising directions for future research.
- Abstract(参考訳): Bi-Level Optimization (BLO) は、経済学ゲーム理論の分野から始まり、最適化コミュニティに導入された。
BLOは、2つのレベルの最適化タスクを含む階層構造上の問題を扱うことができ、一方のタスクが他方の内部にネストされる。
機械学習とコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、ハイパーパラメータ最適化、マルチタスクとメタラーニング、ニューラルネットワーク検索、逆学習、深層強化学習など、多くの複雑な問題はすべて、密接に関連するサブプロブレムを含んでいる。
本稿では,これらの複雑な学習と視覚問題をBLOの観点から一様に表現する。
そこで我々は, 基本的自動微分スキームから, 様々な加速度, 単純化, 拡張, 収束性, 複雑性といった側面を網羅し, 主観的勾配に基づくBLO手法を理解し, 定式化するための一元化アルゴリズムの枠組みを構築した。
最後に,新しいアルゴリズムを設計するための統合型BLOフレームワークの可能性について論じ,今後の研究に期待できる方向性を指摘する。
関連論文リスト
- Towards a Systems Theory of Algorithms [7.913238223039003]
我々は、アルゴリズムを、他のアルゴリズム、物理システム、人間、データベースと相互作用するオープンな動的システムとして見ることを好む。
アルゴリズムシステム理論の原理が開発されている様々な事例を調査し、関連するモデリング、分析、設計課題を概説する。
論文 参考訳(メタデータ) (2024-01-25T09:20:21Z) - A match made in consistency heaven: when large language models meet
evolutionary algorithms [51.087936554483804]
事前訓練された大規模言語モデル(LLM)は、創造的な自然言語を生成する強力な能力を持つ。
進化的アルゴリズム(EA)は、複雑な現実世界の問題に対する多様な解決策を発見できる。
テキストシーケンスの生成と進化の共通の集合性と方向性に動機づけられた本論文は,LLMとEAの強い一貫性を示す。
論文 参考訳(メタデータ) (2024-01-19T05:58:30Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Active Predictive Coding: A Unified Neural Framework for Learning
Hierarchical World Models for Perception and Planning [1.3535770763481902]
能動予測符号化と呼ばれる予測符号化のための新しいフレームワークを提案する。
階層的な世界モデルを学び、AIの2つの根本的に異なるオープン問題を解くことができる。
論文 参考訳(メタデータ) (2022-10-23T05:44:22Z) - Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach [0.0]
人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。
複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-12-04T05:54:33Z) - ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。
既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。
本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
論文 参考訳(メタデータ) (2021-10-13T19:36:50Z) - MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary
Learning for Multiobjective Optimization [10.614594804236893]
本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。
MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-16T15:22:20Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳(メタデータ) (2020-12-10T03:24:53Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2020-07-14T22:04:17Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳(メタデータ) (2020-07-07T08:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。