論文の概要: A Light Bilevel Refinement Aligns Self-Supervised Representations for Stronger Task-Specific Learning

• arxiv url: http://arxiv.org/abs/2609.33424v1
• Date: Sun, 27 Sep 2026 10:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 17:04:08.106225
• Title: A Light Bilevel Refinement Aligns Self-Supervised Representations for Stronger Task-Specific Learning
• Title（参考訳）: タスク特化学習のための自己監督型表現を考慮した光バイレベルリファインメント
• Abstract要約: BiSSLは、セルフ監視とダウンストリームタスクの目的のミスアライメントに対処する。 本稿では,M-FACに基づく暗黙勾配近似とパラメータ効率の高いLoRAによる微調整を組み合わせたBiSSLightを提案する。 モデルサイズが大きくなるにつれて、BiSSLightはダウンストリームのパフォーマンスを継続的に改善し、ゲインがより顕著になることを示す。
• 参考スコア（独自算出の注目度）: 16.078203896305226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised pretraining learns representations that are broadly transferable across downstream tasks, yet direct fine-tuning can be suboptimal due to misalignment between self-supervised and downstream task objectives, potentially degrading pretrained features beneficial to the downstream task. The BiSSL framework addressed this by introducing a transitional training stage formulated as a bilevel optimization problem, in which the downstream task objective guides the self-supervised learning process in refining pretrained representations to better facilitate subsequent fine-tuning. However, BiSSL relies on conventional bilevel optimization solving techniques whose costly implicit hypergradient approximations render the method increasingly impractical for contemporary model architectures. To make it efficient and scalable, we introduce BiSSLight, which combines M-FAC-based implicit gradient approximation with parameter-efficient fine-tuning via LoRA, enabling efficient application at larger scales that were previously impractical. Evaluation across multiple downstream tasks and contemporary model architectures shows that BiSSLight consistently improves downstream performance, with gains becoming more pronounced as model size increases despite stronger baselines. The method is highly computationally efficient, reducing computation time by more than a factor of ten compared to its predecessor on a ViT-H backbone.
• Abstract（参考訳）: 自己監督型プレトレーニングは、下流タスク間で広範囲に転送可能な表現を学ぶが、自己監督型タスク目標と下流タスク目標の相違により、直接微調整は最適ではない。 BiSSLフレームワークは、双方向最適化問題として定式化された移行訓練段階を導入し、ダウンストリームタスクの目的が、事前訓練された表現を洗練して、その後の微調整をより容易にするための自己教師付き学習プロセスを導く。 しかし、BiSSLは、コストのかかる暗黙的な過次近似が、同時代のモデルアーキテクチャではますます非現実的になるような、従来の二段階最適化手法に依存している。 効率的かつスケーラブルにするために,M-FACに基づく暗黙的勾配近似とLoRAによるパラメータ効率の高い微調整を組み合わせたBiSSLightを導入する。 複数のダウンストリームタスクと同時代のモデルアーキテクチャによる評価は、BiSSLightが一貫してダウンストリームのパフォーマンスを改善し、ベースラインが強いにもかかわらずモデルサイズが大きくなるにつれて、より顕著になることを示している。 この方法は計算効率が高く、ViT-Hバックボーンの前のものと比べ、計算時間を10倍以上削減する。

関連論文リスト

• Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models [61.00463960117119]
  大規模言語モデル(LLM)が現実の環境に動的に適応するためには、継続的な微調整が不可欠である。 既存の手法は、LLMs固有の汎用知識の事前学習に失敗する。 連続LLMファインチューニングのための未知の事前学習勾配を推定・オルソゴナライズする新しいフレームワークであるEoupCTを提案する。
  論文  参考訳（メタデータ） (2026-09-25T07:52:37Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Fast-dVLA: Accelerating Discrete Diffusion VLA to Real-Time Performance [47.605498477489306]
  補助的な訓練対象を持つ高度な微調整法は、性能を改善し、収束ステップの数を減らすことができる。 本稿では,事前学習したVLAモデルが,標準的な教師付き微調整における性能向上や適応コストの低減に失敗するケースに対して,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2026-03-26T17:14:57Z)
• Optimization-Inspired Few-Shot Adaptation for Large Language Models [25.439708260502556]
  LLM(Large Language Models)は、現実世界のアプリケーションで顕著な性能を示している。 LLMを微調整によって新しいタスクに適応させるには、数ショットのシナリオでは実行不可能な、実質的なトレーニングデータと計算資源が必要となることが多い。 既存のアプローチ、例えば、コンテキスト内学習や。 PEFT(Efficient Fine-Tuning)は、重要な制限に直面している。
  論文  参考訳（メタデータ） (2025-05-25T11:54:23Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。