論文の概要: Improving Model Training via Self-learned Label Representations

• arxiv url: http://arxiv.org/abs/2209.04528v1
• Date: Fri, 9 Sep 2022 21:10:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-13 13:31:40.843436
• Title: Improving Model Training via Self-learned Label Representations
• Title（参考訳）: 自己学習ラベル表現によるモデルトレーニングの改善
• Authors: Xiao Yu and Nakul Verma
• Abstract要約: より洗練されたラベル表現は、通常のワンホット符号化よりも分類に適していることが示される。 分類タスクの学習中にラベル表現を同時に学習する適応ラベル付き学習(LwAL)アルゴリズムを提案する。 我々のアルゴリズムは無視可能な追加パラメータを導入し、計算オーバーヘッドを最小限に抑える。
• 参考スコア（独自算出の注目度）: 5.969349640156469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern neural network architectures have shown remarkable success in several large-scale classification and prediction tasks. Part of the success of these architectures is their flexibility to transform the data from the raw input representations (e.g. pixels for vision tasks, or text for natural language processing tasks) to one-hot output encoding. While much of the work has focused on studying how the input gets transformed to the one-hot encoding, very little work has examined the effectiveness of these one-hot labels. In this work, we demonstrate that more sophisticated label representations are better for classification than the usual one-hot encoding. We propose Learning with Adaptive Labels (LwAL) algorithm, which simultaneously learns the label representation while training for the classification task. These learned labels can significantly cut down on the training time (usually by more than 50%) while often achieving better test accuracies. Our algorithm introduces negligible additional parameters and has a minimal computational overhead. Along with improved training times, our learned labels are semantically meaningful and can reveal hierarchical relationships that may be present in the data.
• Abstract（参考訳）: 現代のニューラルネットワークアーキテクチャは、いくつかの大規模分類と予測タスクで顕著な成功を収めている。 これらのアーキテクチャの成功の一部は、データを生の入力表現(視覚タスクのピクセルや自然言語処理タスクのテキストなど)からワンホットな出力エンコーディングに変換する柔軟性にあります。 作業の多くは入力が1つのホットなエンコーディングにどのように変換されるかの研究に費やされているが、これらの1つのホットなラベルの有効性についてはほとんど研究されていない。 本研究では,従来のワンホット符号化よりも高度なラベル表現の方が分類に適していることを示す。 本稿では,分類タスクの学習中にラベル表現を同時に学習する適応ラベル(lwal)アルゴリズムによる学習を提案する。 これらの学習されたラベルは、トレーニング時間(通常50%以上)を大幅に削減できると同時に、テストの精度も向上する。 本アルゴリズムは無視可能な追加パラメータを導入し,計算オーバーヘッドが最小となる。 トレーニング時間の改善とともに、学習したラベルは意味的に意味があり、データに存在するかもしれない階層的関係を明らかにすることができます。

関連論文リスト

• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Few-Shot Learning with Siamese Networks and Label Tuning [5.006086647446482]
  適切な事前トレーニングを行うことで、テキストやラベルを埋め込むSiamese Networksが、競争力のある代替手段となることを示す。 ラベルの埋め込みだけを変えることで、数ショットのセットアップでモデルを適応できる、シンプルで計算効率の良い手法であるラベルチューニングを導入する。
  論文  参考訳（メタデータ） (2022-03-28T11:16:46Z)
• Multi-label Iterated Learning for Image Classification with Label Ambiguity [3.5736176624479654]
  単一ラベルからの多ラベル学習の帰納バイアスを組み込むために,多ラベル反復学習(MILe)を提案する。 MILeは、バイナリ予測を伝搬することにより、画像のマルチラベル記述を構築する、シンプルだが効果的な手順である。 我々は,MILeがラベルノイズを効果的に低減し,WebVisionのような実世界の大規模ノイズデータに対して最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-23T22:10:00Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Noisy Labels Can Induce Good Representations [53.47668632785373]
  アーキテクチャがノイズラベルによる学習に与える影響について検討する。 ノイズラベルを用いたトレーニングは,モデルが一般化に乏しい場合でも,有用な隠れ表現を誘導できることを示す。 この発見は、騒々しいラベルで訓練されたモデルを改善する簡単な方法につながります。
  論文  参考訳（メタデータ） (2020-12-23T18:58:05Z)
• Grafit: Learning fine-grained image representations with coarse labels [114.17782143848315]
  本稿では,学習ラベルの提供するものよりも細かな表現を学習する問題に対処する。 粗いラベルと下層の細粒度潜在空間を併用することにより、カテゴリレベルの検索手法の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-11-25T19:06:26Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)
• Adversarial Learning for Personalized Tag Recommendation [61.76193196463919]
  大規模データセットでトレーニング可能なエンドツーエンドのディープネットワークを提案する。 ユーザの嗜好と視覚的エンコーディングの合同トレーニングにより、ネットワークは視覚的嗜好をタグ付け行動と効率的に統合することができる。 本稿では,提案モデルの有効性を2つの大規模および公開データセットで示す。
  論文  参考訳（メタデータ） (2020-04-01T20:41:41Z)
• Continual Local Replacement for Few-shot Learning [13.956960291580938]
  少数ショット学習の目標は,1つないし少数のトレーニングデータに基づいて,新しいクラスを認識可能なモデルを学習することにある。 1)新しいクラスの優れた特徴表現が欠けていること、(2)ラベル付きデータの一部が真のデータ分布を正確に表現できないこと、である。 データ不足問題に対処するために,新たな局所的置換戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-23T04:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。