論文の概要: Knowledge Diversion: A Novel Paradigm for Pre-training Decomposable Image Generation Models

• arxiv url: http://arxiv.org/abs/2610.24664v1
• Date: Sat, 17 Oct 2026 12:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:03:14.937506
• Title: Knowledge Diversion: A Novel Paradigm for Pre-training Decomposable Image Generation Models
• Title（参考訳）: 知識変換: 事前学習可能な画像生成モデルのための新しいパラダイム
• Abstract要約: 本稿では,自然に分解可能な生成モデルを学ぶための条件対応事前学習パラダイムであるKnowledge Diversionを紹介する。 事前学習中、連続条件対応ルーティングは、学習遺伝子の状態間で共有される知識を集約する。 クラス、テキスト、イメージ条件付き生成に対する実験は、KDivが高密度のベースラインに一貫して一致するか、超越していることを示している。
• 参考スコア（独自算出の注目度）: 34.75805112986586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained models have become foundational to modern machine learning, yet conventional pre-training objectives primarily optimize source-domain performance without explicitly considering downstream requirements. Consequently, transferable and task-specific knowledge remains entangled within a shared parameter space, limiting selective knowledge reuse and efficient downstream adaptation. This limitation is particularly consequential for image-generation models, which must accommodate diverse conditions and domains. To address this challenge, we introduce Knowledge Diversion (KDiv), a condition-aware pre-training paradigm for learning inherently decomposable generative models. Before pre-training, KDiv factorizes randomly initialized weights into rank-one Knowledge Units, which are organized into learngenes and tailors. During pre-training, continuous condition-aware routing consolidates knowledge shared across conditions in learngenes while directing condition-dependent variations to tailors. This structured organization enables learngenes to capture transferable generative priors and tailors to develop condition-specific expertise, allowing the resulting model to be selectively recombined for diverse downstream conditions. Extensive experiments across class-, text-, and image-conditioned generation demonstrate that KDiv consistently matches or surpasses dense baselines at comparable pre-training cost and achieves the strongest average downstream performance with a trainable parameter budget comparable to low-rank adaptation methods.
• Abstract（参考訳）: 大規模事前学習モデルは、現代の機械学習の基礎となっているが、従来の事前学習の目的は、ダウンストリーム要求を明示的に考慮することなく、主にソースドメインのパフォーマンスを最適化することである。 その結果、伝達可能かつタスク固有の知識は、共有パラメータ空間内で絡み合っており、選択的な知識の再利用と効率的な下流適応を制限している。 この制限は、様々な条件や領域を満たさなければならない画像生成モデルにとって特に適切である。 この課題に対処するために、我々は、本質的に分解可能な生成モデルを学ぶための条件対応事前学習パラダイムであるKDiv(Knowledge Diversion)を導入する。 事前トレーニングの前に、KDivはランダムに初期化された重みをランクワンの知識単位に分解し、学習遺伝子と仕立て物に分類する。 事前学習中、連続条件対応ルーティングは、学習者の条件間で共有される知識を集約し、条件依存のバリエーションを調整者に指示する。 この構造化された組織は、学習者が伝達可能な遺伝子前駆体とテーラーを捕獲し、条件特異的な専門知識を発達させ、結果のモデルを様々な下流の条件に選択的に組み換えることを可能にする。 KDivは、クラス、テキスト、イメージコンディショナー間の大規模な実験により、高密度ベースラインを同等の事前トレーニングコストで一貫してマッチングまたは超越し、低ランク適応法に匹敵するトレーニング可能なパラメータ予算で、最強のダウンストリーム性能を達成することを示した。

関連論文リスト

• Constraint-based Pre-training: From Structured Constraints to Scalable Model Initialization [29.901255886542515]
  WeiTはトレーニング前のパラダイムで、サイズに依存しない知識を再利用可能なウェイトテンプレートに分解する。 WeTは、深さと幅の異なるモデルの初期化において、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2026-04-16T08:29:48Z)
• One-for-All Model Initialization with Frequency-Domain Knowledge [33.90471312176688]
  FRONT(FRequency dOmain kNowledge Transfer)は、Cosine Transform(DCT)を用いて低周波の"Lerngene"を単離する新しいフレームワークである。 FRONTは最先端のパフォーマンスを達成し、視覚タスクの収束を最大15倍加速し、FLOPのトレーニングを平均40.5%削減する。
  論文  参考訳（メタデータ） (2026-03-08T08:25:49Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
  本研究は,時系列予測タスクに対するFM,Large Language Modelsの直接的な適応手法であるLLIAMを提案する。 LLIAMとRecurrent Neural NetworksやTemporal Convolutional Networks、LLMベースのTimeLLMなど、さまざまな最先端DLアルゴリズムのパフォーマンスの比較を行った。 本研究の結果はLLIAMの有効性を実証し, この単純かつ汎用的なアプローチは, 複雑な修正を加える必要がなくなることなく, 有能な結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:01Z)
• KIND: Knowledge Integration and Diversion for Training Decomposable Models [38.166949036830886]
  本稿では,分解可能なモデルを構築するための事前学習手法であるKINDを提案する。 KINDは、クラスに依存しない知識をカプセル化するための学習遺伝子と、クラス固有の知識をキャプチャするためのテーラーを統合している。 実験により、KINDで事前訓練されたモデルは、学習遺伝子とテーラーに分解でき、多様なリソース制約されたデプロイメントに適応的に再結合できることが示された。
  論文  参考訳（メタデータ） (2024-08-14T07:22:28Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Constraint Guided Gradient Descent: Guided Training with Inequality Constraints [0.0]
  訓練手順にドメイン知識を注入することのできる制約ガイド付きグラディエントDescent (CGGD) を提案する。 CGGDはトレーニングデータの不等式制約を満たすモデルに収束する。 これは、CGGDがトレーニングをネットワークの初期化に依存しないようにする2つの独立したデータセットと小さなデータセットに実証的に示される。
  論文  参考訳（メタデータ） (2022-06-13T14:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。