論文の概要: Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond

• arxiv url: http://arxiv.org/abs/2101.11517v1
• Date: Wed, 27 Jan 2021 16:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 21:04:41.718295
• Title: Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond
• Title（参考訳）: 学習とビジョンの両レベル最適化を統一的な視点から探究する:調査とその先
• Authors: Risheng Liu, Jiaxin Gao, Jin Zhang, Deyu Meng and Zhouchen Lin
• Abstract要約: 機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
• 参考スコア（独自算出の注目度）: 114.39616146985001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bi-Level Optimization (BLO) is originated from the area of economic game theory and then introduced into the optimization community. BLO is able to handle problems with a hierarchical structure, involving two levels of optimization tasks, where one task is nested inside the other. In machine learning and computer vision fields, despite the different motivations and mechanisms, a lot of complex problems, such as hyper-parameter optimization, multi-task and meta-learning, neural architecture search, adversarial learning and deep reinforcement learning, actually all contain a series of closely related subproblms. In this paper, we first uniformly express these complex learning and vision problems from the perspective of BLO. Then we construct a value-function-based single-level reformulation and establish a unified algorithmic framework to understand and formulate mainstream gradient-based BLO methodologies, covering aspects ranging from fundamental automatic differentiation schemes to various accelerations, simplifications, extensions and their convergence and complexity properties. Last but not least, we discuss the potentials of our unified BLO framework for designing new algorithms and point out some promising directions for future research.
• Abstract（参考訳）: Bi-Level Optimization (BLO) は、経済学ゲーム理論の分野から始まり、最適化コミュニティに導入された。 BLOは、2つのレベルの最適化タスクを含む階層構造上の問題を扱うことができ、一方のタスクが他方の内部にネストされる。 機械学習とコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、ハイパーパラメータ最適化、マルチタスクとメタラーニング、ニューラルネットワーク検索、逆学習、深層強化学習など、多くの複雑な問題はすべて、密接に関連するサブプロブレムを含んでいる。 本稿では,これらの複雑な学習と視覚問題をBLOの観点から一様に表現する。 そこで我々は, 基本的自動微分スキームから, 様々な加速度, 単純化, 拡張, 収束性, 複雑性といった側面を網羅し, 主観的勾配に基づくBLO手法を理解し, 定式化するための一元化アルゴリズムの枠組みを構築した。 最後に,新しいアルゴリズムを設計するための統合型BLOフレームワークの可能性について論じ,今後の研究に期待できる方向性を指摘する。

関連論文リスト

• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints [66.61399765513383]
  We developed a BLOCC algorithm to tackle BiLevel Optimization problems with Coupled Constraints。 2つのよく知られた実世界のアプリケーションでその効果を実証する。
  論文  参考訳（メタデータ） (2024-06-14T15:59:36Z)
• Moreau Envelope for Nonconvex Bi-Level Optimization: A Single-loop and Hessian-free Solution Strategy [45.982542530484274]
  大規模非ビレベル問題(BLO)は、機械学習にますます適用されている。 これらの課題には、計算効率の確保と理論的保証が伴う。
  論文  参考訳（メタデータ） (2024-05-16T09:33:28Z)
• Active Predictive Coding: A Unified Neural Framework for Learning Hierarchical World Models for Perception and Planning [1.3535770763481902]
  能動予測符号化と呼ばれる予測符号化のための新しいフレームワークを提案する。 階層的な世界モデルを学び、AIの2つの根本的に異なるオープン問題を解くことができる。
  論文  参考訳（メタデータ） (2022-10-23T05:44:22Z)
• Towards the One Learning Algorithm Hypothesis: A System-theoretic Approach [0.0]
  人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。 i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-04T05:54:33Z)
• MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization [10.614594804236893]
  本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。 MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-16T15:22:20Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。