論文の概要: Don't miss the Mismatch: Investigating the Objective Function Mismatch for Unsupervised Representation Learning

• arxiv url: http://arxiv.org/abs/2009.02383v2
• Date: Mon, 28 Feb 2022 20:15:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 01:32:22.025536
• Title: Don't miss the Mismatch: Investigating the Objective Function Mismatch for Unsupervised Representation Learning
• Title（参考訳）: ミスマッチを見逃さない:教師なし表現学習のための目的関数ミスマッチの検討
• Authors: Bonifaz Stuhr, J\"urgen Brauer
• Abstract要約: この研究は、新しい一般的な評価基準を定義するために広く使われている線形評価プロトコルに基づいている。 テキストおよび目標タスクにおけるミスマッチについて検討し、幅広い実験においてミスマッチについて検討する。 実験の結果,Cifar10,Cifar100,PCamでは3dshapesデータセットでは最大25～59%,目的関数ミスマッチでは0.1～5.0%の性能低下が認められた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding general evaluation metrics for unsupervised representation learning techniques is a challenging open research question, which recently has become more and more necessary due to the increasing interest in unsupervised methods. Even though these methods promise beneficial representation characteristics, most approaches currently suffer from the objective function mismatch. This mismatch states that the performance on a desired target task can decrease when the unsupervised pretext task is learned too long - especially when both tasks are ill-posed. In this work, we build upon the widely used linear evaluation protocol and define new general evaluation metrics to quantitatively capture the objective function mismatch and the more generic metrics mismatch. We discuss the usability and stability of our protocols on a variety of pretext and target tasks and study mismatches in a wide range of experiments. Thereby we disclose dependencies of the objective function mismatch across several pretext and target tasks with respect to the pretext model's representation size, target model complexity, pretext and target augmentations as well as pretext and target task types. In our experiments, we find that the objective function mismatch reduces performance by ~0.1-5.0% for Cifar10, Cifar100 and PCam in many setups, and up to ~25-59% in extreme cases for the 3dshapes dataset.
• Abstract（参考訳）: 教師なし表現学習手法の一般的な評価指標を見つけることは、教師なし表現学習手法への関心が高まり、近年ますます必要となっているオープンリサーチの課題である。 これらの手法は有益な表現特性を約束するが、現在ではほとんどのアプローチが目的関数のミスマッチに苦しんでいる。 このミスマッチは、教師なしのプレテキストタスクが長すぎると、望ましいターゲットタスクのパフォーマンスが低下する可能性があることを述べています。 本研究では,広く使用されている線形評価プロトコルを構築し,目的関数のミスマッチとより一般的なメトリクスのミスマッチを定量的に捉えるために,新しい一般評価指標を定義する。 本稿では,様々なプリテキストおよびターゲットタスクにおけるプロトコルのユーザビリティと安定性について検討し,幅広い実験におけるミスマッチについて検討する。 これにより,プリテキストモデルの表現サイズ,ターゲットモデルの複雑さ,プリテキストおよびターゲット拡張,およびプリテキストおよびターゲットタスクタイプに対する,複数のプリテキストおよびターゲットタスク間の客観的関数ミスマッチの依存関係を開示する。 実験の結果,Cifar10,Cifar100,PCamでは最大0.1-5.0%,3dshapesデータセットでは最大25-59%の性能低下が認められた。

関連論文リスト

• Neural Network Training and Non-Differentiable Objective Functions [2.3351527694849574]
  この論文は、非微分不可能目標と訓練損失関数のギャップを埋めることに4つの主要な貢献をする。 この論文の貢献により、ニューラルネットワークのトレーニングがよりスケーラブルになる。
  論文  参考訳（メタデータ） (2023-05-03T10:28:23Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• CACTUS: Detecting and Resolving Conflicts in Objective Functions [16.784454432715712]
  多対象最適化において、矛盾する目的と制約は大きな関心事である。 本稿では,多目的目的関数を可視化する手法をプロトタイプ化して,この作業範囲を拡張する。 本手法は,分類タスクの潜在的な競合を解決することによって,ユーザが対話的に有意義な目的関数を特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-13T22:38:47Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。