論文の概要: Predicting What You Already Know Helps: Provable Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2008.01064v2
• Date: Sun, 14 Nov 2021 04:26:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 05:58:29.925794
• Title: Predicting What You Already Know Helps: Provable Self-Supervised Learning
• Title（参考訳）: 自分がすでに知っていることを予測する: 自己監督型学習の可能性
• Authors: Jason D. Lee, Qi Lei, Nikunj Saunshi, Jiacheng Zhuo
• Abstract要約: 自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
• 参考スコア（独自算出の注目度）: 60.27658820909876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised representation learning solves auxiliary prediction tasks (known as pretext tasks) without requiring labeled data to learn useful semantic representations. These pretext tasks are created solely using the input features, such as predicting a missing image patch, recovering the color channels of an image from context, or predicting missing words in text; yet predicting this \textit{known} information helps in learning representations effective for downstream prediction tasks. We posit a mechanism exploiting the statistical connections between certain {\em reconstruction-based} pretext tasks that guarantee to learn a good representation. Formally, we quantify how the approximate independence between the components of the pretext task (conditional on the label and latent variables) allows us to learn representations that can solve the downstream task by just training a linear layer on top of the learned representation. We prove the linear layer yields small approximation error even for complex ground truth function class and will drastically reduce labeled sample complexity. Next, we show a simple modification of our method leads to nonlinear CCA, analogous to the popular SimSiam algorithm, and show similar guarantees for nonlinear CCA.
• Abstract（参考訳）: 自己教師付き表現学習は、ラベル付きデータが有用な意味表現を学ぶ必要なしに、補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 これらのプリテキストタスクは、欠落した画像パッチの予測、画像の色チャネルの回復、テキスト中の欠落した単語の予測といった入力機能のみを使用して作成されるが、この‘textit{known}’情報は下流の予測タスクに有効な表現の学習に役立つ。 我々は,適切な表現を学ぶことを保証し,特定の「em 再構成に基づく」前文タスク間の統計的接続を利用するメカニズムを仮定する。 形式的には、前文タスク(ラベルと潜在変数の条件)のコンポーネント間の近似的な独立性が、学習した表現の上に線形層をトレーニングするだけで下流タスクを解決できる表現を学習できることを定量化する。 この線形層は複素基底真理関数クラスにおいても小さな近似誤差を生じさせ、ラベル付きサンプル複雑性を劇的に減少させる。 次に,本手法の簡単な変更により,SimSiamアルゴリズムに類似した非線形CCAが得られ,非線形CCAに対する同様の保証を示す。

関連論文リスト

• Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt Learning with Data-Dependent Prior [14.232144691524528]
  最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。 MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。 本稿では,素早い学習のためのベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:15:59Z)
• Mixture of Self-Supervised Learning [2.191505742658975]
  自己教師型学習は、特定のタスクに適用される前にモデル上でトレーニングされるプレテキストタスクを使用することで機能する。 従来の研究では、プリテキストタスクとして1つのタイプの変換しか使用されていなかった。 これにより、複数のプリテキストタスクが使用されているかどうか、すべてのプリテキストタスクを組み合わせるためにゲーティングネットワークを使用するかどうか、という疑問が持ち上がる。
  論文  参考訳（メタデータ） (2023-07-27T14:38:32Z)
• Is Cross-modal Information Retrieval Possible without Training? [4.616703548353372]
  Procrustes問題に対する解の最小二乗と特異値分解(SVD)から計算した単純な写像をとる。 すなわち、テキストのようなあるモダリティの情報が与えられた場合、このマッピングは、画像のような別のモダリティにおける意味的に等価なデータ項目を見つけるのに役立ちます。 既訓練の深層学習モデルを用いて,テキスト・ツー・イメージ検索と画像・トゥ・テキスト検索のタスクにおいて,上記の単純なモーダル・マッピングを実験した。
  論文  参考訳（メタデータ） (2023-04-20T02:36:18Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Fine-Grained Visual Entailment [51.66881737644983]
  そこで本稿では,テキストから画像への微粒な知識要素の論理的関係を予測することを目的として,このタスクの拡張を提案する。 従来の研究とは異なり、本手法は本質的に説明可能であり、異なるレベルの粒度で論理的予測を行う。 本手法は,手動でアノテートした知識要素のデータセットを用いて評価し,この課題に対して68.18%の精度を達成できることを示す。
  論文  参考訳（メタデータ） (2022-03-29T16:09:38Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。