論文の概要: REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning

• arxiv url: http://arxiv.org/abs/2604.17257v2
• Date: Tue, 21 Apr 2026 06:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.916698
• Title: REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning
• Title（参考訳）: REZE: プレファインタニングを組み込んだドメイン適応型テキストの表現規則化
• Authors: Seungmin Lee, Jeonghwan Lee, Hyunkuk Lim, Sejoon Kim, Mingi Sung,
• Abstract要約: 最近のテキストモデルは、散在する不均一なタスクのコレクション上で、対照的な事前ファインタニング(PFT)によって、しばしば特殊ドメインに適合する。 このアプローチは多くの場合、ドメイン知識と並行してタスクによって引き起こされるバイアスを導入し、制御されていない表現シフトをもたらす。 埋め込み前ファインタニング中の表現シフトを明示的に制御する表現正規化フレームワークであるRを提案する。
• 参考スコア（独自算出の注目度）: 5.853890728403084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text embedding models are often adapted to specialized domains via contrastive pre-finetuning (PFT) on a naive collection of scattered, heterogeneous tasks. However, this approach often introduces task-induced bias alongside domain knowledge, leading to uncontrolled representation shifts that distort the pretrained embedding geometry and cause substantial performance degradation. To address this issue, we propose REZE, a representation regularization framework that explicitly controls representation shift during embedding pre-finetuning. REZE operates on the relations of anchor-positive pairs and decomposes them in an eigenspace. It then measures task-wise dispersion along each eigencomponent to identify task-variant directions and applies adaptive soft-shrinkage to suppress task-induced noise while preserving task-invariant semantic structure, without inference-time overhead. Experiments across multiple embedding backbones and specialized benchmarks show that REZE outperforms standard pre-finetuning and isotropy-oriented post-hoc regularization in most settings, remaining stable where existing PFT variants collapse. Embedding space analyses further confirm that REZE induces controlled shifts aligned with the original embedding manifold, underscoring representation shift control as a key principle for robust embedding pre-finetuning under heterogeneous supervision.
• Abstract（参考訳）: 最近のテキスト埋め込みモデルは、しばしば、散在する異種タスクの単純なコレクション上の対照的な事前ファインタニング(PFT)を介して、特殊ドメインに適応する。 しかし、このアプローチはドメイン知識と並行してタスクによって引き起こされるバイアスを導入し、事前訓練された埋め込み幾何学を歪ませる制御されていない表現シフトを生じさせ、実質的な性能劣化を引き起こす。 本稿では,プレファインタニング時の表現シフトを明示的に制御する表現正規化フレームワークREZEを提案する。 REZEはアンカー陽性対の関係を演算し、固有空間で分解する。 次に、各固有成分に沿ってタスクワイド分散を測定し、タスク変動方向を識別し、適応的ソフト収縮を適用し、タスク非変動意味構造を推論時のオーバーヘッドなく保ちながらタスク誘発ノイズを抑制する。 複数の埋め込みバックボーンと特別なベンチマークによる実験では、REZEは標準的なプレファインタニングやアイソトロピー指向のポストホック正規化よりも多くの設定で優れており、既存のPFT変種が崩壊した場合は安定している。 埋め込み空間解析により、REZEは元の埋め込み多様体に整合した制御されたシフトを誘導し、表現シフト制御を不均一な監督の下で頑健な埋め込み前ファインタニングの鍵となる原理として表す。

関連論文リスト

• From Entanglement to Alignment: Representation Space Decomposition for Unsupervised Time Series Domain Adaptation [18.100665738436398]
  DARSDは,表現空間の分解の観点から,UDAタスクを明示的に実現する理論的説明可能性を備えた,新しいUDAフレームワークである。 DarSDは3つの相乗的要素から構成される: (I) 意味的コンテンツを保存しながら、元の特徴をドメイン不変のサブ空間に投影する逆学習可能な共通不変基底; (II) 信頼、エラーの蓄積を妨げ、ターゲット特徴を動的に分離する擬似ラベル機構; (III) 機能クラスタリングと一貫性を同時に実施しながら、新興ディストリビューションギャップを緩和するハイブリッドコントラスト最適化戦略。
  論文  参考訳（メタデータ） (2025-07-28T16:26:28Z)
• On the Theory of Conditional Feature Alignment for Unsupervised Domain-Adaptive Counting [27.44207520673983]
  オブジェクトカウントモデルは、密度の多様性が異なるドメインにデプロイされるときに苦しむ。 条件付き特徴アライメントの理論的枠組みを提案し,簡単な実装を提供する。
  論文  参考訳（メタデータ） (2025-06-20T16:37:48Z)
• Geometrically Regularized Transfer Learning with On-Manifold and Off-Manifold Perturbation [0.0]
  MAADAは、敵の摂動をオン・マニフォールドとオフ・マニフォールドに分解する新しいフレームワークである。 また,MAADAは,教師なし設定と少数ショット設定の両方において,既存の敵・適応手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-21T07:13:09Z)
• ReservoirTTA: Prolonged Test-time Adaptation for Evolving and Recurring Domains [25.075869018443925]
  ReservoirTTAは、長期間のテスト時間適応のために設計された新しいプラグインフレームワークである。 中心となるReservoirTTAはドメイン特化モデルの貯水池を維持している。 理論的解析により,パラメータの分散を束縛し,モデル崩壊を防ぐ重要な要素が明らかになった。
  論文  参考訳（メタデータ） (2025-05-20T15:39:20Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。