論文の概要: LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

• arxiv url: http://arxiv.org/abs/2509.09926v1
• Date: Fri, 12 Sep 2025 02:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.959879
• Title: LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios
• Title（参考訳）: LoFT:オープンワールドシナリオにおける長期半教師付き学習のためのパラメータ効率の良いファインチューニング
• Authors: Jiahao Chen, Zhiyuan Huang, Yurou Liu, Bing Su,
• Abstract要約: LFT(Long-tailed semi-supervised learning via parameter- efficient Fine-Tuning) 微調整された基礎モデルにより、より信頼性の高い擬似ラベルが生成され、不均衡学習の恩恵を受けることを示す。 また,オープンワールド環境下での半教師あり学習を調査することで,より実践的な環境についても検討する。
• 参考スコア（独自算出の注目度）: 19.673195747304195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-tailed learning has garnered increasing attention due to its wide applicability in real-world scenarios. Among existing approaches, Long-Tailed Semi-Supervised Learning (LTSSL) has emerged as an effective solution by incorporating a large amount of unlabeled data into the imbalanced labeled dataset. However, most prior LTSSL methods are designed to train models from scratch, which often leads to issues such as overconfidence and low-quality pseudo-labels. To address these challenges, we extend LTSSL into the foundation model fine-tuning paradigm and propose a novel framework: LoFT (Long-tailed semi-supervised learning via parameter-efficient Fine-Tuning). We demonstrate that fine-tuned foundation models can generate more reliable pseudolabels, thereby benefiting imbalanced learning. Furthermore, we explore a more practical setting by investigating semi-supervised learning under open-world conditions, where the unlabeled data may include out-of-distribution (OOD) samples. To handle this problem, we propose LoFT-OW (LoFT under Open-World scenarios) to improve the discriminative ability. Experimental results on multiple benchmarks demonstrate that our method achieves superior performance compared to previous approaches, even when utilizing only 1\% of the unlabeled data compared with previous works.
• Abstract（参考訳）: 長期学習は、現実世界のシナリオで広く適用可能なため、注目を集めている。 既存のアプローチの中で、ラベル付きデータセットに大量のラベル付きデータを組み込むことによって、LTSSL(Long-Tailed Semi-Supervised Learning)が効果的なソリューションとして登場した。 しかし、ほとんどの以前のLTSSLメソッドはスクラッチからモデルをトレーニングするために設計されており、自信過剰や低品質の擬似ラベルといった問題につながることが多い。 これらの課題に対処するため、LTSSLを基礎モデルファインチューニングパラダイムに拡張し、LoFT(Long-tailed semi-supervised learning via parameter- efficient Fine-Tuning)という新しいフレームワークを提案する。 微調整基礎モデルにより、より信頼性の高い擬似ラベルが生成され、不均衡学習の恩恵を受けることが実証された。 さらに,公開環境下での半教師付き学習において,未ラベルデータに外配(OOD)サンプルを含ませることにより,より実践的な環境を探究する。 この問題に対処するため,識別能力を向上させるためにLoFT-OW(LoFT-OW)を提案する。 複数のベンチマークによる実験結果から, 従来の手法と比較して, ラベルなしデータの1/%しか利用していない場合でも, 従来の手法よりも優れた性能が得られることが示された。

関連論文リスト

• ULFine: Unbiased Lightweight Fine-tuning for Foundation-Model-Assisted Long-Tailed Semi-Supervised Learning [27.467732819969935]
  本稿では,Long-Tailed Semi-Supervised Learning (LTSSL) における大規模視覚基盤モデルの効果について検討する。 我々はリニアプローブ(LP)、軽量ファインチューニング(LFT)、フルファインチューニング(FFT)の3つの戦略を採用している。 i) LTSSLアルゴリズムと比較して,FFTはモデル性能が低下するのに対し,LPとLFTはモデル性能を向上するが,テールクラスには無視できる利点がある。 我々は無バイアス軽量ファインチューニング戦略である textbfULFine を提案する。
  論文  参考訳（メタデータ） (2025-05-08T08:54:57Z)
• Revisiting semi-supervised learning in the era of foundation models [28.414667991336067]
  半教師付き学習(SSL)は、ラベル付きデータとともに豊富なラベル付きデータを活用して学習を強化する。 我々は,凍結視覚基盤モデル(VFM)が性能的に劣るSSLベンチマークデータセットを開発し,代表的なSSLメソッドを体系的に評価する。 ラベル付きデータのみを用いたパラメータ効率細調整(PEFT)は、ラベルなしデータを活用することなく、SSLのパフォーマンスとよく一致します。 ノイズの多い擬似ラベルの悪名高い問題を克服するため,より堅牢な擬似ラベルを生成するために,複数のPEFTアプローチとVFMバックボーンのアンサンブルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T18:01:10Z)
• Discriminative Finetuning of Generative Large Language Models without Reward Models and Human Preference Data [73.04828796123581]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) を整列するための重要なステップとなっている。 本稿では,SFTの改良版であるDFT(Driminative Fine-Tuning)を紹介する。 i) 入力された全ての可能な出力のうち、解答の判別可能性を明示的にモデル化することにより、微調整LDMの判別確率フレームワーク、(ii) この判別可能性を最適化するための効率的なアルゴリズム、(iii) DFTの有効性を実証する広範な実験を含む。
  論文  参考訳（メタデータ） (2025-02-25T22:38:55Z)
• SeMi: When Imbalanced Semi-Supervised Learning Meets Mining Hard Examples [54.760757107700755]
  Semi-Supervised Learning (SSL)は、豊富なラベルのないデータを活用して、モデルのパフォーマンスを向上させる。 実世界のシナリオにおけるクラス不均衡なデータ分散は、SSLに大きな課題をもたらし、結果としてパフォーマンスが低下する。 マイニングハードケース(SeMi)による不均衡半教師学習の性能向上手法を提案する。
  論文  参考訳（メタデータ） (2025-01-10T14:35:16Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• DavIR: Data Selection via Implicit Reward for Large Language Models [62.59514469369608]
  DavIRは、学習後の大規模言語モデルのためのモデルベースのデータ選択手法である。 DavIRで選択したAlpacaデータセットの6%は、LLaMAモデルとGemmaモデルの両方を操り、フル52Kデータセットでトレーニングされたモデルと比較すると、優れたパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-10-16T07:26:24Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。