論文の概要: Finetune-Informed Pretraining Boosts Downstream Performance

• arxiv url: http://arxiv.org/abs/2601.20884v1
• Date: Tue, 27 Jan 2026 20:26:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.348651
• Title: Finetune-Informed Pretraining Boosts Downstream Performance
• Title（参考訳）: ファインチューンインフォームドプレトレーニングは下流のパフォーマンスを向上する
• Authors: Atik Faysal, Mohammad Rostami, Reihaneh Gh. Roshan, Nikhil Muralidhar, Huaxia Wang,
• Abstract要約: Finetune-Informed Pretraining (FIP) は、表現学習を指定された目標モダリティにバイアスを与えるモデル非依存の手法である。 FIPは、余分なデータや計算なしで、ダウンストリームの微調整性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 13.807896870065706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal pretraining is effective for building general-purpose representations, but in many practical deployments, only one modality is heavily used during downstream fine-tuning. Standard pretraining strategies treat all modalities uniformly, which can lead to under-optimized representations for the modality that actually matters. We propose Finetune-Informed Pretraining (FIP), a model-agnostic method that biases representation learning toward a designated target modality needed at fine-tuning time. FIP combines higher masking difficulty, stronger loss weighting, and increased decoder capacity for the target modality, without modifying the shared encoder or requiring additional supervision. When applied to masked modeling on constellation diagrams for wireless signals, FIP consistently improves downstream fine-tuned performance with no extra data or compute. FIP is simple to implement, architecture-compatible, and broadly applicable across multimodal masked modeling pipelines.
• Abstract（参考訳）: マルチモーダルプレトレーニングは汎用的な表現を構築するのに有効であるが、多くの実践的な展開では下流の微調整において1つのモーダルしか利用されない。 標準的な事前訓練戦略は全てのモダリティを均一に扱い、これは実際に重要なモダリティに対して過度に最適化されていない表現をもたらす可能性がある。 本研究では,ファインチューン・インフォームド・プレトレーニング(FIP)を提案する。 FIPは、共有エンコーダを変更したり、追加の監督を必要とすることなく、より高いマスキング困難、より強い損失重み付け、目標モダリティのためのデコーダ容量の増加を組み合わせている。 無線信号の星座図上でマスク付きモデリングを適用すると、FIPは余分なデータや計算なしで下流の微調整性能を一貫して改善する。 FIPは実装が簡単で、アーキテクチャ互換であり、マルチモーダルマスキングモデリングパイプラインに広く適用できる。

関連論文リスト

• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• Exploring Cross-Modal Flows for Few-Shot Learning [9.866094371902372]
  本稿では,モーダル間速度場を学習し,モデルに依存しない多段階調整手法を提案する。 結果は、FMAが様々なベンチマークやバックボーンでパフォーマンスを継続的に向上できることを示した。
  論文  参考訳（メタデータ） (2025-10-16T10:32:48Z)
• POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
  POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。 デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。 単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
  論文  参考訳（メタデータ） (2025-10-08T04:20:11Z)
• Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
  マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。 我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
  論文  参考訳（メタデータ） (2025-09-03T18:05:02Z)
• Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
  Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。 Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
  論文  参考訳（メタデータ） (2025-06-24T17:58:02Z)
• Mixture of Physical Priors Adapter for Parameter-Efficient Fine-Tuning [41.19870454097444]
  本稿では,ネットワークの重み付けを物理的に組み合わせてモデル化する手法を提案する。 熱拡散、波動伝播、ポアソンの定常方程式の3つの基礎方程式がそれぞれ固有のモデリング特性に寄与する。 MoPPAはPEFTの精度を最大2.1%向上させる。
  論文  参考訳（メタデータ） (2024-12-03T19:00:34Z)
• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• Frame Flexible Network [52.623337134518835]
  既存のビデオ認識アルゴリズムは、常に異なるフレーム番号の入力に対して異なるトレーニングパイプラインを実行する。 トレーニングに使われていない他のフレームを使用してモデルを評価した場合、パフォーマンスが大幅に低下するのを観察する。 本稿では,フレームフレキシブルネットワーク(FFN)と呼ばれる汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-26T20:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。