論文の概要: Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment

• arxiv url: http://arxiv.org/abs/2211.02284v1
• Date: Fri, 4 Nov 2022 06:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 16:55:43.547256
• Title: Unsupervised Visual Representation Learning via Mutual Information Regularized Assignment
• Title（参考訳）: 相互情報正規化アサインメントによる教師なし視覚表現学習
• Authors: Dong Hoon Lee, Sungik Choi, Hyunwoo Kim, Sae-Young Chung
• Abstract要約: 情報に触発された教師なし表現学習のための擬似ラベルアルゴリズムを提案する。 MIRAは、線形/k-NN評価や転送学習など、さまざまな下流タスクで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 31.00769817116771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes Mutual Information Regularized Assignment (MIRA), a pseudo-labeling algorithm for unsupervised representation learning inspired by information maximization. We formulate online pseudo-labeling as an optimization problem to find pseudo-labels that maximize the mutual information between the label and data while being close to a given model probability. We derive a fixed-point iteration method and prove its convergence to the optimal solution. In contrast to baselines, MIRA combined with pseudo-label prediction enables a simple yet effective clustering-based representation learning without incorporating extra training techniques or artificial constraints such as sampling strategy, equipartition constraints, etc. With relatively small training epochs, representation learned by MIRA achieves state-of-the-art performance on various downstream tasks, including the linear/k-NN evaluation and transfer learning. Especially, with only 400 epochs, our method applied to ImageNet dataset with ResNet-50 architecture achieves 75.6% linear evaluation accuracy.
• Abstract（参考訳）: 本稿では,情報の最大化にインスパイアされた教師なし表現学習のための擬似ラベルアルゴリズムであるMIRAを提案する。 オンライン擬似ラベルを最適化問題として定式化し、与えられたモデル確率に近づきながらラベルとデータ間の相互情報を最大化する擬似ラベルを求める。 固定点反復法を導出し,その最適解への収束を証明する。 ベースラインとは対照的に、MIRAと擬似ラベル予測を組み合わせることで、余分なトレーニング技術やサンプリング戦略、等分制約などの人工的制約を組み込むことなく、単純で効果的なクラスタリングベースの表現学習が可能になる。 MIRAが学んだ表現は、比較的小さな訓練エポックで、線形/k-NN評価や転送学習など、さまざまな下流タスクにおける最先端のパフォーマンスを達成する。 特に400エポックでresnet-50アーキテクチャを用いたimagenetデータセットに適用すると、75.6%の線形評価精度が得られる。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Dual-Decoupling Learning and Metric-Adaptive Thresholding for Semi-Supervised Multi-Label Learning [81.83013974171364]
  半教師付きマルチラベル学習(SSMLL)は、正確なマルチラベルアノテーションを収集するコストを削減するために、ラベルのないデータを活用する強力なフレームワークである。 半教師付き学習とは異なり、インスタンスに含まれる複数のセマンティクスのため、SSMLLの擬似ラベルとして最も確率の高いラベルを選択することはできない。 本稿では,高品質な擬似ラベルを生成するための二重パースペクティブ手法を提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:33:53Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Multi-view Information Bottleneck Without Variational Approximation [34.877573432746246]
  情報ボトルネックの原理を教師付き多視点学習シナリオに拡張する。 我々は、最近提案された行列ベースのR'enyiの$alpha$-order entropy関数を用いて、結果の目的を最適化する。 合成と実世界の両方のデータセットにおける実験結果から,各ビューにおけるノイズや冗長な情報に対するロバスト性の向上が期待できる。
  論文  参考訳（メタデータ） (2022-04-22T06:48:04Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Active Learning on Attributed Graphs via Graph Cognizant Logistic Regression and Preemptive Query Generation [37.742218733235084]
  本稿では,属性グラフにおけるノード分類処理のための新しいグラフベース能動学習アルゴリズムを提案する。 提案アルゴリズムは,線形化グラフ畳み込みニューラルネットワーク(GCN)と等価なグラフ認識ロジスティック回帰を用いて,予測フェーズの誤差低減を最大化する。 5つの公開ベンチマークデータセットで実験を行い、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:00:53Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Fast local linear regression with anchor regularization [21.739281173516247]
  高速アンカー正規化局所線形法(FALL)と呼ばれる,単純で効果的な局所モデルトレーニングアルゴリズムを提案する。 合成および実世界のデータセットの実験を通じて、FALLは最先端のネットワークLassoアルゴリズムと精度の面で好適に比較できることを示した。
  論文  参考訳（メタデータ） (2020-02-21T10:03:33Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。