Fugu-MT 論文翻訳(概要): Investigating Power laws in Deep Representation Learning

論文の概要: Investigating Power laws in Deep Representation Learning

arxiv url: http://arxiv.org/abs/2202.05808v1
Date: Fri, 11 Feb 2022 18:11:32 GMT
ステータス: 処理完了
システム内更新日: 2022-02-14 15:11:11.512215
Title: Investigating Power laws in Deep Representation Learning
Title（参考訳）: 深層表現学習におけるパワー法則の調査
Authors: Arna Ghosh, Arnab Kumar Mondal, Kumar Krishna Agrawal, Blake Richards
Abstract要約: 本研究では,非ラベルデータセットにおける表現の質を評価するためのフレームワークを提案する。表現学習に影響を与える3つの重要な属性に対して、電力法則の係数$alpha$を推定する。特に$alpha$はラベルの知識のない表現から計算可能であり、非ラベル付きデータセットにおける表現の質を評価するためのフレームワークを提供する。
参考スコア（独自算出の注目度）: 4.996066540156903
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Representation learning that leverages large-scale labelled datasets, is central to recent progress in machine learning. Access to task relevant labels at scale is often scarce or expensive, motivating the need to learn from unlabelled datasets with self-supervised learning (SSL). Such large unlabelled datasets (with data augmentations) often provide a good coverage of the underlying input distribution. However evaluating the representations learned by SSL algorithms still requires task-specific labelled samples in the training pipeline. Additionally, the generalization of task-specific encoding is often sensitive to potential distribution shift. Inspired by recent advances in theoretical machine learning and vision neuroscience, we observe that the eigenspectrum of the empirical feature covariance matrix often follows a power law. For visual representations, we estimate the coefficient of the power law, $\alpha$, across three key attributes which influence representation learning: learning objective (supervised, SimCLR, Barlow Twins and BYOL), network architecture (VGG, ResNet and Vision Transformer), and tasks (object and scene recognition). We observe that under mild conditions, proximity of $\alpha$ to 1, is strongly correlated to the downstream generalization performance. Furthermore, $\alpha \approx 1$ is a strong indicator of robustness to label noise during fine-tuning. Notably, $\alpha$ is computable from the representations without knowledge of any labels, thereby offering a framework to evaluate the quality of representations in unlabelled datasets.
Abstract（参考訳）: 大規模なラベル付きデータセットを活用する表現学習は、機械学習の最近の進歩の中心である。スケールでのタスクに関連するラベルへのアクセスは、しばしば少ないか高価であり、自己教師付き学習(ssl)によるラベルなしデータセットから学ぶ必要がある。このような大きなラベルのないデータセット(データ拡張)は、基礎となる入力分布をよくカバーする。しかし、SSLアルゴリズムで学んだ表現を評価するには、トレーニングパイプラインでタスク固有のラベル付きサンプルが必要である。加えて、タスク固有のエンコーディングの一般化は、しばしばポテンシャル分布シフトに敏感である。理論機械学習と視覚神経科学の最近の進歩に触発されて、経験的特徴共分散行列の固有スペクトルはしばしばパワー法則に従うことを観測した。視覚的表現については,学習目標(教師,シムCLR,バーロウツインズ,BYOL),ネットワークアーキテクチャ(VGG,ResNet,Vision Transformer),タスク(オブジェクトとシーン認識)の3つの重要な属性から,パワーローの係数である$\alpha$を推定する。穏やかな条件下では、$\alpha$ to 1 の近さは下流の一般化性能と強く相関している。さらに、$\alpha \approx 1$は微調整時のノイズラベルに対する強固さの強い指標である。特に$\alpha$はラベルを知らない表現から計算可能であり、ラベルなしデータセットにおける表現の品質を評価するフレームワークを提供する。

関連論文リスト

Improving Deep Representation Learning via Auxiliary Learnable Target Coding [69.79343510578877]
本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
論文参考訳（メタデータ） (2023-05-30T01:38:54Z)
A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
論文参考訳（メタデータ） (2023-03-31T07:06:24Z)
Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文参考訳（メタデータ） (2022-12-30T12:39:55Z)
On the Informativeness of Supervision Signals [31.418827619510036]
我々は情報理論を用いて、多くの一般的な監視信号が表現学習のパフォーマンスにどのように貢献するかを比較する。我々のフレームワークは、ビッグデータシステムにおいてハードラベルを使用するための理論的正当性を提供するが、よりリッチな監視信号により、数発の学習とアウト・オブ・ディストリビューションの一般化を実現している。
論文参考訳（メタデータ） (2022-11-02T18:02:31Z)
Improving Model Training via Self-learned Label Representations [5.969349640156469]
より洗練されたラベル表現は、通常のワンホット符号化よりも分類に適していることが示される。分類タスクの学習中にラベル表現を同時に学習する適応ラベル付き学習(LwAL)アルゴリズムを提案する。我々のアルゴリズムは無視可能な追加パラメータを導入し、計算オーバーヘッドを最小限に抑える。
論文参考訳（メタデータ） (2022-09-09T21:10:43Z)
Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
論文参考訳（メタデータ） (2021-11-01T15:09:41Z)
Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文参考訳（メタデータ） (2021-10-11T06:29:56Z)
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
論文参考訳（メタデータ） (2021-06-29T08:08:33Z)
Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition [75.44233392355711]
KGGRフレームワークは、ディープニューラルネットワークと統計ラベル相関の事前知識を利用する。まず、統計ラベルの共起に基づいて異なるラベルを相関させる構造化知識グラフを構築する。次に、ラベルセマンティクスを導入し、学習セマンティクス固有の特徴をガイドする。グラフノードの相互作用を探索するためにグラフ伝搬ネットワークを利用する。
論文参考訳（メタデータ） (2020-09-20T15:05:29Z)
Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence [8.110949636804772]
スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2020-07-25T21:59:17Z)
Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文参考訳（メタデータ） (2020-03-30T16:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。