論文の概要: Usable Information and Evolution of Optimal Representations During Training

• arxiv url: http://arxiv.org/abs/2010.02459v2
• Date: Sun, 28 Feb 2021 17:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-10 06:11:12.053926
• Title: Usable Information and Evolution of Optimal Representations During Training
• Title（参考訳）: 学習中の最適表現の活用情報と進化
• Authors: Michael Kleinman, Alessandro Achille, Daksh Idnani, Jonathan C. Kao
• Abstract要約: 特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。 文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
• 参考スコア（独自算出の注目度）: 79.38872675793813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a notion of usable information contained in the representation learned by a deep network, and use it to study how optimal representations for the task emerge during training. We show that the implicit regularization coming from training with Stochastic Gradient Descent with a high learning-rate and small batch size plays an important role in learning minimal sufficient representations for the task. In the process of arriving at a minimal sufficient representation, we find that the content of the representation changes dynamically during training. In particular, we find that semantically meaningful but ultimately irrelevant information is encoded in the early transient dynamics of training, before being later discarded. In addition, we evaluate how perturbing the initial part of training impacts the learning dynamics and the resulting representations. We show these effects on both perceptual decision-making tasks inspired by neuroscience literature, as well as on standard image classification tasks.
• Abstract（参考訳）: 深層ネットワークで学習した表現に含まれる有用な情報の概念を導入し、学習中にタスクの最適な表現がどのように現れるかを研究する。 学習速度が高く,バッチサイズが小さい確率的勾配降下による学習からの暗黙的正規化は,タスクの最小限の表現を学習する上で重要な役割を担っている。 最小限の表現に到達する過程において、トレーニング中に表現の内容が動的に変化することが分かる。 特に、意味的に意味があるが究極的には無関係な情報は、後に破棄される前に、訓練の初期過渡的なダイナミクスに符号化されている。 さらに,トレーニングの初期部分の摂動が学習力学と結果の表現にどのように影響するかを評価する。 神経科学文献に触発された知覚的意思決定課題と標準画像分類課題の両方にこれらの効果を示す。

関連論文リスト

• A Quantitative Approach to Predicting Representational Learning and Performance in Neural Networks [5.544128024203989]
  ニューラルネットワークの主な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。 本稿では,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
  論文  参考訳（メタデータ） (2023-07-14T18:39:04Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• (Un)likelihood Training for Interpretable Embedding [30.499562324921648]
  テキストと視覚データのセマンティックなギャップを埋める上で,クロスモーダル表現学習は新たな標準となっている。 埋め込みの背後にあるセマンティクスをアンロールする2つの新しい訓練目標,可能性と相違関数を提案する。 双方のトレーニング目標により,解釈可能なクロスモーダル表現を学習する新しいエンコーダデコーダネットワークが,アドホックなビデオ検索のために提案されている。
  論文  参考訳（メタデータ） (2022-07-01T09:15:02Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
  プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。 画像事前学習の詳細な研究について述べる。 低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
  論文  参考訳（メタデータ） (2021-12-19T15:50:48Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• Complementing Representation Deficiency in Few-shot Image Classification: A Meta-Learning Approach [27.350615059290348]
  本稿では,MCRNetを用いたメタラーニング手法を提案する。 特に、潜時空間を埋め込んで、潜時符号を余分な表現情報で再構成し、表現不足を補完する。 我々のエンドツーエンドフレームワークは、3つの標準的な数ショット学習データセット上の画像分類における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-07-21T13:25:54Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。