論文の概要: LABO: Towards Learning Optimal Label Regularization via Bi-level Optimization

• arxiv url: http://arxiv.org/abs/2305.04971v1
• Date: Mon, 8 May 2023 18:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 14:40:29.199656
• Title: LABO: Towards Learning Optimal Label Regularization via Bi-level Optimization
• Title（参考訳）: LABO:バイレベル最適化による最適ラベル正規化学習に向けて
• Authors: Peng Lu, Ahmad Rashid, Ivan Kobyzev, Mehdi Rezagholizadeh, Philippe Langlais
• Abstract要約: ニューラルネットワークの一般化性能とトレーニング効率を向上させるためには,正規化技術が不可欠である。 本稿では、従来のLSを含むラベル正規化によるトレーニングのための一般的なフレームワークを提案するが、インスタンス固有の変種をモデル化することもできる。 本稿では,Bi-level Optimization (LABO) 問題を考案し,LAbel 正規化を効率的に学習する方法を提案する。
• 参考スコア（独自算出の注目度）: 25.188067240126422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regularization techniques are crucial to improving the generalization performance and training efficiency of deep neural networks. Many deep learning algorithms rely on weight decay, dropout, batch/layer normalization to converge faster and generalize. Label Smoothing (LS) is another simple, versatile and efficient regularization which can be applied to various supervised classification tasks. Conventional LS, however, regardless of the training instance assumes that each non-target class is equally likely. In this work, we present a general framework for training with label regularization, which includes conventional LS but can also model instance-specific variants. Based on this formulation, we propose an efficient way of learning LAbel regularization by devising a Bi-level Optimization (LABO) problem. We derive a deterministic and interpretable solution of the inner loop as the optimal label smoothing without the need to store the parameters or the output of a trained model. Finally, we conduct extensive experiments and demonstrate our LABO consistently yields improvement over conventional label regularization on various fields, including seven machine translation and three image classification tasks across various
• Abstract（参考訳）: ニューラルネットワークの一般化性能とトレーニング効率を向上させるためには,正規化技術が不可欠である。 多くのディープラーニングアルゴリズムは、より速く収束し一般化するために、重みの減衰、ドロップアウト、バッチ/レイヤー正規化に依存する。 Label Smoothing (LS) は、様々な教師付き分類タスクに適用できる、単純で汎用的で効率的な正規化である。 しかし、通常のLSは、トレーニングインスタンスに関係なく、各非ターゲットクラスが等しく可能性が高いと仮定する。 本研究では,従来のLSを含むラベル正規化を用いた学習フレームワークを提案するが,インスタンス固有の変種をモデル化することもできる。 この定式化に基づいて,Bi-level Optimization (LABO) 問題を考案し,効率的なLAbel正規化学習法を提案する。 内部ループの決定論的かつ解釈可能な解を、トレーニングされたモデルのパラメータや出力を保存することなく、最適なラベル平滑化として導出する。 最後に,我々のラボは,従来のラベル正規化よりも,7つの機械翻訳と3つの画像分類タスクを含む様々な分野において,一貫して改善をもたらすことを実証する。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• L-TUNING: Synchronized Label Tuning for Prompt and Prefix in LLMs [0.0]
  本稿では,自然言語推論(NLI)フレームワーク内での分類タスクの効率的な微調整手法であるL-Tuningを紹介する。 L-Tuningは、事前訓練されたLarge Language Models (LLM)を通して処理されるラベルトークンの微調整に焦点を当てている。 実験の結果,従来のアプローチと比較して,L-Tuningによる学習効率と分類精度が有意に向上したことが示唆された。
  論文  参考訳（メタデータ） (2023-12-21T01:47:49Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Class Adaptive Network Calibration [19.80805957502909]
  ディープネットワークの校正のためのクラス適応ラベル平滑化(CALS)を提案する。 提案手法は,制約付き最適化において確立された手法である拡張ラグランジアンアプローチに基づいて構築される。
  論文  参考訳（メタデータ） (2022-11-28T06:05:31Z)
• Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
  マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。 本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:01:03Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Exemplar Normalization for Learning Deep Representation [34.42934843556172]
  本研究は、初等正規化(EN)を提案することによって、新しい動的学習-正規化(L2N)問題について検討する。 ENは、異なる畳み込み層とディープネットワークの画像サンプルの異なる正規化方法を学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-19T13:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。