Fugu-MT 論文翻訳(概要): Self-supervised visual feature learning with curriculum

論文の概要: Self-supervised visual feature learning with curriculum

arxiv url: http://arxiv.org/abs/2001.05634v1
Date: Thu, 16 Jan 2020 03:28:58 GMT
ステータス: 処理完了
システム内更新日: 2023-01-11 00:22:51.852224
Title: Self-supervised visual feature learning with curriculum
Title（参考訳）: カリキュラムによる自己指導型視覚特徴学習
Authors: Vishal Keshav and Fabien Delattre
Abstract要約: 本稿では,カリキュラム学習からインスピレーションを得て,段階的に低レベル信号を除去する。その結果,下流タスクの収束速度は著しく向上した。
参考スコア（独自算出の注目度）: 0.24366811507669126
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-supervised learning techniques have shown their abilities to learn meaningful feature representation. This is made possible by training a model on pretext tasks that only requires to find correlations between inputs or parts of inputs. However, such pretext tasks need to be carefully hand selected to avoid low level signals that could make those pretext tasks trivial. Moreover, removing those shortcuts often leads to the loss of some semantically valuable information. We show that it directly impacts the speed of learning of the downstream task. In this paper we took inspiration from curriculum learning to progressively remove low level signals and show that it significantly increase the speed of convergence of the downstream task.
Abstract（参考訳）: 自己教師付き学習技術は、有意義な特徴表現を学ぶ能力を示している。これは、入力または入力の一部間の相関を見つけることのみを必要とするプリテキストタスクでモデルをトレーニングすることで実現されている。しかし、このようなプリテキストタスクは、低レベルなシグナルを避けるために、慎重に手動で選択する必要がある。さらに、これらのショートカットを削除することで、意味的に価値のある情報が失われることがしばしばある。下流タスクの学習速度に直接影響を与えることを示す。本稿では,カリキュラム学習から着想を得て低レベル信号の段階的除去を行い,下流タスクの収束速度を大幅に向上させることを示す。

関連論文リスト

On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.83572030360843]
従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。予備学習で学んだ特徴や表現は必須ではない。
論文参考訳（メタデータ） (2024-11-14T18:59:40Z)
Ignorance is Bliss: Robust Control via Information Gating [60.17644038829572]
情報パーシモニーは、ノイズや突発的相関に頑健であることにより、より良い一般化を実現する学習表現に有用な帰納的バイアスを提供する。本稿では,タスクに必要な最小限の情報を識別する類似表現を学習する手段として,テキスト情報ゲーティングを提案する。
論文参考訳（メタデータ） (2023-03-10T18:31:50Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
Hierarchical Skills for Efficient Exploration [70.62309286348057]
強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
論文参考訳（メタデータ） (2021-10-20T22:29:32Z)
Information-Preserving Contrastive Learning for Self-Supervised Representations [42.74927142208983]
対照学習は、監督なしで有用な表現を学ぶのに非常に効果的です。下流のタスクとは無関係なショートカットを学び、関連する情報を破棄することがあります。本稿では,教師なし表現学習の新しい枠組みである情報保存コントラスト学習(IPCL)を提案する。
論文参考訳（メタデータ） (2020-12-17T22:46:17Z)
Towards All-around Knowledge Transferring: Learning From Task-irrelevant Labels [44.036667329736225]
既存の取り組みは、この問題に取り組むために、タスク関連知識を他の類似データから移すことに重点を置いている。これまでタスク非関連の特徴の影響を調査する大規模な研究は行われていない。本稿では,タスク非関連ラベルから主に抽出されるタスク非関連特徴を利用するタスク非関連変換学習を提案する。
論文参考訳（メタデータ） (2020-11-17T06:43:58Z)
Usable Information and Evolution of Optimal Representations During Training [79.38872675793813]
特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
論文参考訳（メタデータ） (2020-10-06T03:50:19Z)
Learn Faster and Forget Slower via Fast and Stable Task Adaptation [10.696114236900808]
現在の微調整技術により、事前訓練されたモデルは、新しいタスクが学習される前に、転送された知識を忘れることができる。本稿では,Fast And Stable Task-Adaptation (FAST)を提案する。実験により,FASTはより高速に目標タスクを学習し,ソースタスクを遅くすることを示す。
論文参考訳（メタデータ） (2020-07-02T21:13:55Z)
Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
論文参考訳（メタデータ） (2020-06-18T17:59:35Z)
Automatic Shortcut Removal for Self-Supervised Representation Learning [39.636691159890354]
自己教師付き視覚表現学習では、人間のアノテーションを使わずにラベルを安価に生成できる「テキストタスク」に基づいて特徴抽出器を訓練する。このような「ショートカット」機能や、その効果を減らすための手書き設計スキームの特定に多くの作業が費やされている。この仮定は、"lens"ネットワークをトレーニングして、プリテキストタスクのパフォーマンスを最大に低下させる小さな画像変更を行うことによって、一般的なプリテキストタスクやデータセットにまたがって成り立つことを示す。
論文参考訳（メタデータ） (2020-02-20T16:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。