論文の概要: REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning

• arxiv url: http://arxiv.org/abs/2604.17257v2
• Date: Tue, 21 Apr 2026 06:47:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.916698
• Title: REZE: Representation Regularization for Domain-adaptive Text Embedding Pre-finetuning
• Title（参考訳）: REZE: プレファインタニングを組み込んだドメイン適応型テキストの表現規則化
• Abstract要約: 最近のテキストモデルは、散在する不均一なタスクのコレクション上で、対照的な事前ファインタニング(PFT)によって、しばしば特殊ドメインに適合する。 このアプローチは多くの場合、ドメイン知識と並行してタスクによって引き起こされるバイアスを導入し、制御されていない表現シフトをもたらす。 埋め込み前ファインタニング中の表現シフトを明示的に制御する表現正規化フレームワークであるRを提案する。
• 参考スコア（独自算出の注目度）: 5.853890728403084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text embedding models are often adapted to specialized domains via contrastive pre-finetuning (PFT) on a naive collection of scattered, heterogeneous tasks. However, this approach often introduces task-induced bias alongside domain knowledge, leading to uncontrolled representation shifts that distort the pretrained embedding geometry and cause substantial performance degradation. To address this issue, we propose REZE, a representation regularization framework that explicitly controls representation shift during embedding pre-finetuning. REZE operates on the relations of anchor-positive pairs and decomposes them in an eigenspace. It then measures task-wise dispersion along each eigencomponent to identify task-variant directions and applies adaptive soft-shrinkage to suppress task-induced noise while preserving task-invariant semantic structure, without inference-time overhead. Experiments across multiple embedding backbones and specialized benchmarks show that REZE outperforms standard pre-finetuning and isotropy-oriented post-hoc regularization in most settings, remaining stable where existing PFT variants collapse. Embedding space analyses further confirm that REZE induces controlled shifts aligned with the original embedding manifold, underscoring representation shift control as a key principle for robust embedding pre-finetuning under heterogeneous supervision.
• Abstract（参考訳）: 最近のテキスト埋め込みモデルは、しばしば、散在する異種タスクの単純なコレクション上の対照的な事前ファインタニング(PFT)を介して、特殊ドメインに適応する。 しかし、このアプローチはドメイン知識と並行してタスクによって引き起こされるバイアスを導入し、事前訓練された埋め込み幾何学を歪ませる制御されていない表現シフトを生じさせ、実質的な性能劣化を引き起こす。 本稿では,プレファインタニング時の表現シフトを明示的に制御する表現正規化フレームワークREZEを提案する。 REZEはアンカー陽性対の関係を演算し、固有空間で分解する。 次に、各固有成分に沿ってタスクワイド分散を測定し、タスク変動方向を識別し、適応的ソフト収縮を適用し、タスク非変動意味構造を推論時のオーバーヘッドなく保ちながらタスク誘発ノイズを抑制する。 複数の埋め込みバックボーンと特別なベンチマークによる実験では、REZEは標準的なプレファインタニングやアイソトロピー指向のポストホック正規化よりも多くの設定で優れており、既存のPFT変種が崩壊した場合は安定している。 埋め込み空間解析により、REZEは元の埋め込み多様体に整合した制御されたシフトを誘導し、表現シフト制御を不均一な監督の下で頑健な埋め込み前ファインタニングの鍵となる原理として表す。

関連論文リスト

• Multimodal Foundation Models Adaptation based on Domain-Aware Relaxed Orthogonal Subspace for Remote Sensing [16.45880716714667]
  Domain-Aware Relaxed Orthogonal Subspace adaptation (DROS) DROSはデータ条件付きサブスペース学習と柔軟なサブスペース適応として低ランク適応を再構成する。 複数のリモートセンシングベンチマークの実験は、DROSが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2026-09-12T02:19:11Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• AHPA: Adaptive Hierarchical Prior Alignment for Diffusion Transformers [24.937985157569823]
  我々は,信号と雑音の比に応じて,表現監督の有用な粒度が体系的に変化するため,このような時間ステップに依存しないアライメントが最適であると主張する。 ハイノイズでは拡散モデルはより粗い意味とレイアウトレベルのアンカーの恩恵を受けるが、低ノイズでは、トレーニング信号は空間的詳細で構造的に忠実な洗練を強調するべきである。 この非定常アライメント動作は、静的なシングルレベルスーパーバイザーに対する表現ミスマッチを生成する。
  論文  参考訳（メタデータ） (2026-05-05T03:07:29Z)
• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• From Entanglement to Alignment: Representation Space Decomposition for Unsupervised Time Series Domain Adaptation [18.100665738436398]
  DARSDは,表現空間の分解の観点から,UDAタスクを明示的に実現する理論的説明可能性を備えた,新しいUDAフレームワークである。 DarSDは3つの相乗的要素から構成される: (I) 意味的コンテンツを保存しながら、元の特徴をドメイン不変のサブ空間に投影する逆学習可能な共通不変基底; (II) 信頼、エラーの蓄積を妨げ、ターゲット特徴を動的に分離する擬似ラベル機構; (III) 機能クラスタリングと一貫性を同時に実施しながら、新興ディストリビューションギャップを緩和するハイブリッドコントラスト最適化戦略。
  論文  参考訳（メタデータ） (2025-07-28T16:26:28Z)
• On the Theory of Conditional Feature Alignment for Unsupervised Domain-Adaptive Counting [27.44207520673983]
  オブジェクトカウントモデルは、密度の多様性が異なるドメインにデプロイされるときに苦しむ。 条件付き特徴アライメントの理論的枠組みを提案し,簡単な実装を提供する。
  論文  参考訳（メタデータ） (2025-06-20T16:37:48Z)
• Geometrically Regularized Transfer Learning with On-Manifold and Off-Manifold Perturbation [0.0]
  MAADAは、敵の摂動をオン・マニフォールドとオフ・マニフォールドに分解する新しいフレームワークである。 また,MAADAは,教師なし設定と少数ショット設定の両方において,既存の敵・適応手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-21T07:13:09Z)
• ReservoirTTA: Prolonged Test-time Adaptation for Evolving and Recurring Domains [25.075869018443925]
  ReservoirTTAは、長期間のテスト時間適応のために設計された新しいプラグインフレームワークである。 中心となるReservoirTTAはドメイン特化モデルの貯水池を維持している。 理論的解析により,パラメータの分散を束縛し,モデル崩壊を防ぐ重要な要素が明らかになった。
  論文  参考訳（メタデータ） (2025-05-20T15:39:20Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [56.48290708901531]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。