論文の概要: FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model
- arxiv url: http://arxiv.org/abs/2512.09282v1
- Date: Wed, 10 Dec 2025 03:10:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-11 15:14:53.381148
- Title: FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model
- Title(参考訳): FoundIR-v2:画像復元基礎モデルのための事前学習データ混合の最適化
- Authors: Xiang Chen, Jinshan Pan, Jiangxin Dong, Jian Yang, Jinhui Tang,
- Abstract要約: 本稿では,高容量拡散に基づく画像復元基盤モデルFoundIR-v2を提案する。
データ混合法則を活用することにより、バランスの取れたデータセットの構成が保証される。
本手法は最先端の手法に対して良好な性能を発揮する。
- 参考スコア(独自算出の注目度): 89.23522479092537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have witnessed significant advances in image restoration foundation models driven by improvements in the scale and quality of pre-training data. In this work, we find that the data mixture proportions from different restoration tasks are also a critical factor directly determining the overall performance of all-in-one image restoration models. To this end, we propose a high-capacity diffusion-based image restoration foundation model, FoundIR-v2, which adopts a data equilibrium scheduling paradigm to dynamically optimize the proportions of mixed training datasets from different tasks. By leveraging the data mixing law, our method ensures a balanced dataset composition, enabling the model to achieve consistent generalization and comprehensive performance across diverse tasks. Furthermore, we introduce an effective Mixture-of-Experts (MoE)-driven scheduler into generative pre-training to flexibly allocate task-adaptive diffusion priors for each restoration task, accounting for the distinct degradation forms and levels exhibited by different tasks. Extensive experiments demonstrate that our method can address over 50 sub-tasks across a broader scope of real-world scenarios and achieves favorable performance against state-of-the-art approaches.
- Abstract(参考訳): 近年の研究では、事前学習データのスケールと品質の改善により、画像復元基盤モデルに大きな進歩が見られた。
本研究では,異なる復元作業から得られるデータ混合比が,オールインワン画像復元モデル全体の性能を直接決定する重要な要因であることを明らかにした。
そこで本研究では,データ平衡スケジューリングパラダイムを採用した高容量拡散に基づく画像復元基盤モデル FoundIR-v2 を提案し,異なるタスクから混合トレーニングデータセットの比率を動的に最適化する。
データ混合法則を活用することにより、バランスの取れたデータセットの構成が保証され、モデルが様々なタスクに対して一貫した一般化と包括的なパフォーマンスを達成することができる。
さらに,各タスクに対して,タスク適応拡散先を柔軟に割り当て,異なるタスクで表される個別の劣化形式とレベルを考慮し,効果的なMixture-of-Experts(MoE)駆動型スケジューラを生成事前訓練に導入する。
大規模な実験により,本手法は現実世界のシナリオの範囲をまたいだ50以上のサブタスクに対処でき,最先端のアプローチに対して良好な性能が得られることが示された。
関連論文リスト
- ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection [28.75333303894706]
ToReMiは、トピックの関連や観察された学習パターンに応じてトレーニングサンプル重量を調整する新しいフレームワークである。
実験の結果,ToReMiの変種は従来の事前学習手法よりも優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2025-04-01T12:06:42Z) - Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳(メタデータ) (2025-02-10T17:57:15Z) - FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。
既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。
実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
論文 参考訳(メタデータ) (2024-12-02T12:08:40Z) - Semi-Supervised Fine-Tuning of Vision Foundation Models with Content-Style Decomposition [4.192370959537781]
本稿では,ラベル付きデータに制限のある下流タスクにおいて,事前学習した基礎モデルの性能向上を目的とした半教師付き微調整手法を提案する。
我々は、MNIST、その拡張されたバリエーション、CIFAR-10、SVHN、GalaxyMNISTを含む複数のデータセットに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-10-02T22:36:12Z) - What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。
拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。
我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
論文 参考訳(メタデータ) (2024-03-10T04:23:24Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。