論文の概要: RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2505.08463v2
• Date: Thu, 29 May 2025 05:01:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.88838
• Title: RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models
• Title（参考訳）: RepCali:事前学習型言語モデルにおける潜在空間における高能率微調整Via表現の校正
• Authors: Fujun Zhang, Xiaoying Fan, XiangDong Su, Guanglai Gao,
• Abstract要約: 微調整事前学習言語モデル(PLM)は、下流タスクにPLMを適用する上で、主要なパラダイムとなっている。 本稿では,潜在空間におけるPLM表現の校正を学習することで,この問題に対処する。 提案する表現キャリブレーション法(RepCali)では,エンコーダの後,特定のキャリブレーションブロックを潜在空間に統合し,デコーダ入力としてキャリブレーション出力を使用する。
• 参考スコア（独自算出の注目度）: 14.214116482595461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning pre-trained language models (PLMs) has become a dominant paradigm in applying PLMs to downstream tasks. However, with limited fine-tuning, PLMs still struggle with the discrepancies between the representation obtained from the PLMs' encoder and the optimal input to the PLMs' decoder. This paper tackles this challenge by learning to calibrate the representation of PLMs in the latent space. In the proposed representation calibration method (RepCali), we integrate a specific calibration block to the latent space after the encoder and use the calibrated output as the decoder input. The merits of the proposed RepCali include its universality to all PLMs with encoder-decoder architectures, its plug-and-play nature, and ease of implementation. Extensive experiments on 25 PLM-based models across 8 tasks (including both English and Chinese datasets) demonstrate that the proposed RepCali offers desirable enhancements to PLMs (including LLMs) and significantly improves the performance of downstream tasks. Comparison experiments across 4 benchmark tasks indicate that RepCali is superior to the representative fine-tuning baselines.
• Abstract（参考訳）: 微調整事前学習言語モデル(PLM)は、下流タスクにPLMを適用する上で、主要なパラダイムとなっている。 しかしながら、微調整が限られているPLMは、PLMのエンコーダから得られる表現と、PLMのデコーダへの最適な入力との相違に苦慮している。 本稿では,潜在空間におけるPLM表現の校正を学習することで,この問題に対処する。 提案する表現キャリブレーション法(RepCali)では,エンコーダの後,特定のキャリブレーションブロックを潜在空間に統合し,デコーダ入力としてキャリブレーション出力を使用する。 提案されたRepCaliの利点は、エンコーダデコーダアーキテクチャを持つ全てのPLMへの普遍性、プラグアンドプレイの性質、実装の容易さである。 8つのタスク(英語と中国語のデータセットを含む)にまたがる25のPLMベースのモデルに関する大規模な実験により、提案されたRepCaliは、PLM(LLMを含む)の望ましい拡張を提供し、下流タスクのパフォーマンスを大幅に改善することを示した。 4つのベンチマークタスクの比較実験は、RepCaliが代表的な微調整ベースラインよりも優れていることを示している。

関連論文リスト

• An Empirical Study of Conformal Prediction in LLM with ASP Scaffolds for Robust Reasoning [52.29223403698673]
  本稿では, Answer Set Programming (ASP) とともに, Conformal Language Modelling (CLM) の使用について検討する。 LLM から ASP プログラムの集合を生成するために CLM を適用し,出力の正確性に関する統計的保証を提供する。 実験の結果,標準サンプリング手法を用いたベースラインモデルではCLMが有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T14:10:10Z)
• Multi-Prompting Decoder Helps Better Language Understanding [23.084538462710125]
  本稿では,MaaS適応のためのMPD(Multi-Prompting Decoder)フレームワークを提案する。 提案手法は,複数の自然言語理解データセットに対して,数ショット設定で新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-10T13:58:46Z)
• CodeUltraFeedback: An LLM-as-a-Judge Dataset for Aligning Large Language Models to Coding Preferences [5.165576022684194]
  LLM-as-a-Judge法を用いて、LLMと符号化優先のアライメントを評価する。 CodeUltraFeedbackは1万のコード命令で構成され、それぞれに14 LLMの多様なプールから生成される4つの応答が注釈付けされている。 次に、教師付き微調整(SFT)とAIフィードバックからの強化学習(RLAIF)を用いたCodeLlama-7B-Instructの微調整のためのフィードバックデータとしてのCodeUltraFeedbackの利用について検討する。
  論文  参考訳（メタデータ） (2024-03-14T01:51:35Z)
• On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation [76.52997424694767]
  本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。 エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。 また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
  論文  参考訳（メタデータ） (2024-02-21T18:57:54Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。