論文の概要: Multi-Task Pre-Finetuning of Lightweight Transformer Encoders for Text Classification and NER

• arxiv url: http://arxiv.org/abs/2510.07566v1
• Date: Wed, 08 Oct 2025 21:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.744509
• Title: Multi-Task Pre-Finetuning of Lightweight Transformer Encoders for Text Classification and NER
• Title（参考訳）: テキスト分類とNERのための軽量トランスフォーマーエンコーダのマルチタスクプレファイリング
• Authors: Junyi Zhu, Savas Ozkan, Andrea Maracani, Sinan Mutlu, Cho Jung Min, Mete Ozay,
• Abstract要約: 2つの基本的なNLPタスクファミリに対する軽量BERTライクエンコーダの適応性を高めるためのプレファインタニング戦略について検討する。 本稿では,タスクプライマリな LoRA モジュールをベースとした,シンプルで効果的なマルチタスク事前調整フレームワークを提案する。 本手法は,実際のデプロイメント制約を満たしながら,個別のファインタニングに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 19.142254119286616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying natural language processing (NLP) models on mobile platforms requires models that can adapt across diverse applications while remaining efficient in memory and computation. We investigate pre-finetuning strategies to enhance the adaptability of lightweight BERT-like encoders for two fundamental NLP task families: named entity recognition (NER) and text classification. While pre-finetuning improves downstream performance for each task family individually, we find that na\"ive multi-task pre-finetuning introduces conflicting optimization signals that degrade overall performance. To address this, we propose a simple yet effective multi-task pre-finetuning framework based on task-primary LoRA modules, which enables a single shared encoder backbone with modular adapters. Our approach achieves performance comparable to individual pre-finetuning while meeting practical deployment constraint. Experiments on 21 downstream tasks show average improvements of +0.8% for NER and +8.8% for text classification, demonstrating the effectiveness of our method for versatile mobile NLP applications.
• Abstract（参考訳）: モバイルプラットフォームに自然言語処理(NLP)モデルをデプロイするには、メモリと計算の効率を保ちながら、さまざまなアプリケーションに適応可能なモデルが必要である。 NLPタスクファミリ(NER)とテキスト分類(テキスト分類)の2つの基本的なNLPタスクファミリに対して,軽量BERTライクなエンコーダの適応性を高めるための事前ファインタニング戦略を検討する。 プレファインタニングは各タスクファミリーのダウンストリーム性能を個別に改善するが、na\\ive multi-task pre-finetuningでは、全体的なパフォーマンスを低下させる競合する最適化信号が導入された。 そこで本研究では,タスクプライマリなLoRAモジュールをベースとした,シンプルなマルチタスクプリファインタニングフレームワークを提案する。 本手法は,実際のデプロイメント制約を満たしながら,個別のファインタニングに匹敵する性能を実現する。 21の下流タスクに対する実験では、NERの+0.8%、テキスト分類の+8.8%の平均的な改善が示され、本手法の有効性が示された。

関連論文リスト

• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• Densely Connected Parameter-Efficient Tuning for Referring Image Segmentation [30.912818564963512]
  DETRISは、低ランクな視覚的特徴伝達を強化するために設計されたパラメータ効率のチューニングフレームワークである。 我々の単純で効率的なアプローチは、最先端のメソッドを大きく上回り、0.9%から1.8%のバックボーンパラメーターが更新される。
  論文  参考訳（メタデータ） (2025-01-15T05:00:03Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。