論文の概要: LEAD: Exploring Logit Space Evolution for Model Selection

• arxiv url: http://arxiv.org/abs/2507.14559v1
• Date: Sat, 19 Jul 2025 09:45:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.944849
• Title: LEAD: Exploring Logit Space Evolution for Model Selection
• Title（参考訳）: LEAD: モデル選択のためのロジット空間の進化を探る
• Authors: Zixuan Hu, Xiaotong Li, Shixiang Tang, Jun Liu, Yichun Hu, Ling-Yu Duan,
• Abstract要約: 本稿では,ロジットのネットワーク出力に基づく微調整型アプローチであるLEADを提案する。 10のダウンストリームデータセットにわたる24の教師付きおよび自己教師付き事前トレーニングモデルに関する包括的な実験は、素晴らしいパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 39.30586021894318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable success of pretrain-then-finetune paradigm has led to a proliferation of available pre-trained models for vision tasks. This surge presents a significant challenge in efficiently choosing the most suitable pre-trained models for downstream tasks. The critical aspect of this challenge lies in effectively predicting the model transferability by considering the underlying fine-tuning dynamics. Existing methods often model fine-tuning dynamics in feature space with linear transformations, which do not precisely align with the fine-tuning objective and fail to grasp the essential nonlinearity from optimization. To this end, we present LEAD, a finetuning-aligned approach based on the network output of logits. LEAD proposes a theoretical framework to model the optimization process and derives an ordinary differential equation (ODE) to depict the nonlinear evolution toward the final logit state. Additionally, we design a class-aware decomposition method to consider the varying evolution dynamics across classes and further ensure practical applicability. Integrating the closely aligned optimization objective and nonlinear modeling capabilities derived from the differential equation, our method offers a concise solution to effectively bridge the optimization gap in a single step, bypassing the lengthy fine-tuning process. The comprehensive experiments on 24 supervised and self-supervised pre-trained models across 10 downstream datasets demonstrate impressive performances and showcase its broad adaptability even in low-data scenarios.
• Abstract（参考訳）: プレトレイン・シン・ファインチューン・パラダイムの顕著な成功は、視覚タスクのための訓練済みモデルの普及につながった。 この急上昇は、下流タスクに最も適した事前訓練されたモデルを効率的に選択する上で大きな課題となる。 この課題の重要な側面は、基礎となる微調整力学を考慮し、モデル転送可能性の効果的な予測である。 既存の手法はしばしば特徴空間における細調整のダイナミクスを線形変換でモデル化するが、これは微調整の目的と正確に一致せず、最適化から本質的な非線形性を把握できない。 そこで本研究では,ロジットのネットワーク出力に基づく細調整型アプローチであるLEADを提案する。 LEADは最適化過程をモデル化する理論的枠組みを提案し、最終的なロジット状態への非線形進化を記述するための常微分方程式(ODE)を導出する。 さらに,クラス間の進化のダイナミクスを考慮し,実用的な適用性を確保するために,クラス認識分解法を設計する。 微分方程式から導出される厳密に整合した最適化目標と非線形モデリング機能を統合することで,一段階の最適化ギャップを効果的に橋渡しし,長い微調整過程を回避できる。 10のダウンストリームデータセットにわたる24の教師付きおよび自己教師付き事前トレーニングモデルに関する包括的な実験は、印象的なパフォーマンスを示し、低データシナリオにおいてもその広範な適応性を示している。

関連論文リスト

• Flows and Diffusions on the Neural Manifold [0.0]
  拡散およびフローベース生成モデルは、画像合成、ビデオ生成、自然言語モデリングといった領域で顕著に成功している。 これらの進歩は、最近の手法を活用して、最適化力学から導かれる構造的事前を組み込むことにより、重み空間学習に拡張する。
  論文  参考訳（メタデータ） (2025-07-14T02:26:06Z)
• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models [54.132297393662654]
  本稿では,RLによる報酬モデルの最適化により,最先端拡散モデルを微調整するハイブリッド手法を提案する。 我々は、報酬モデルの補間能力を活用し、オフラインデータにおいて最良の設計を上回るアプローチの能力を実証する。
  論文  参考訳（メタデータ） (2024-05-30T03:57:29Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• Careful! Training Relevance is Real [0.7742297876120561]
  我々は、トレーニングの妥当性を強制するために設計された制約を提案する。 提案した制約を加えることで,ソリューションの品質が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-01-12T11:54:31Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。