論文の概要: Representation Learning by Ranking under multiple tasks

• arxiv url: http://arxiv.org/abs/2103.15093v1
• Date: Sun, 28 Mar 2021 09:36:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-31 10:26:50.704317
• Title: Representation Learning by Ranking under multiple tasks
• Title（参考訳）: 複数の課題によるランキングによる表現学習
• Authors: Lifeng Gu
• Abstract要約: 近似的なNDCG損失を最適化することにより、複数のタスクにおける表現学習問題を解く。 分類、検索、マルチラベル学習、回帰、自己監督学習などの異なる学習タスクの下での実験は、近似NDCG損失の優位性を証明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, representation learning has become the research focus of the machine learning community. Large-scale pre-training neural networks have become the first step to realize general intelligence. The key to the success of neural networks lies in their abstract representation capabilities for data. Several learning fields are actually discussing how to learn representations and there lacks a unified perspective. We convert the representation learning problem under multiple tasks into a ranking problem, taking the ranking problem as a unified perspective, the representation learning under different tasks is solved by optimizing the approximate NDCG loss. Experiments under different learning tasks like classification, retrieval, multi-label learning, regression, self-supervised learning prove the superiority of approximate NDCG loss. Further, under the self-supervised learning task, the training data is transformed by data augmentation method to improve the performance of the approximate NDCG loss, which proves that the approximate NDCG loss can make full use of the information of the unsupervised training data.
• Abstract（参考訳）: 近年,表現学習が機械学習コミュニティの研究の焦点となっている。 大規模事前学習ニューラルネットワークは、汎用知性を実現するための最初のステップとなっている。 ニューラルネットワークの成功の鍵は、データの抽象表現能力にある。 いくつかの学習分野は実際に表現の学習方法について議論しており、統一された視点がない。 我々は、複数のタスクの表現学習問題をランキング問題に変換し、ランキング問題を統一的な視点として、近似的なNDCG損失を最適化することにより、異なるタスクの表現学習を解決する。 分類、検索、マルチラベル学習、回帰、自己教師あり学習などの異なる学習タスクの下での実験は、近似ndcg損失の優位性が証明される。 さらに、自己教師付き学習タスクにおいて、トレーニングデータをデータ拡張法により変換し、近似NDCG損失の性能を向上させることにより、近似NDCG損失が教師なしトレーニングデータの情報をフル活用できることを示す。

関連論文リスト

• Heterogeneous Graph Neural Networks with Loss-decrease-aware Curriculum Learning [1.2224845909459847]
  不均一グラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)の処理において優れた性能を発揮する。 従来,HGNNを学習するためのカリキュラム学習戦略の活用が検討されてきた。 新たな損失低減対応トレーニングスケジュール(LDTS)を提案する。
  論文  参考訳（メタデータ） (2024-05-10T15:06:53Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
  タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。 CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
  論文  参考訳（メタデータ） (2023-11-02T22:00:23Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Incremental Class Learning using Variational Autoencoders with Similarity Learning [0.0]
  漸進的な学習におけるニューラルネットワークの破滅的な忘れは、依然として難しい問題である。 本研究は,段階的な授業学習における4つのよく知られた計量に基づく損失関数の破滅的忘れについて検討する。 角損失はほとんど影響を受けず, 対照的に3重項損失, 中心損失は良好な鉱業技術であった。
  論文  参考訳（メタデータ） (2021-10-04T10:19:53Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。