論文の概要: Learning to Learn Weight Generation via Local Consistency Diffusion

• arxiv url: http://arxiv.org/abs/2502.01117v3
• Date: Mon, 19 May 2025 05:44:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.412879
• Title: Learning to Learn Weight Generation via Local Consistency Diffusion
• Title（参考訳）: 局所的一貫性拡散による重み生成の学習
• Authors: Yunchuan Guan, Yu Liu, Ke Zhou, Zhiqi Shen, Jenq-Neng Hwang, Lei Li,
• Abstract要約: 拡散アルゴリズムとメタラーニングを統合したMc-Diを提案する。 我々の理論と実験は、グローバル最適値との整合性を保ちながら、局所目標から学習できることを実証している。 頻繁な重み更新を必要とするタスクにおいて,Mc-Diの精度と推論効率を検証した。
• 参考スコア（独自算出の注目度）: 30.945131775280792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based algorithms have emerged as promising techniques for weight generation. However, existing solutions are limited by two challenges: generalizability and local target assignment. The former arises from the inherent lack of cross-task transferability in existing single-level optimization methods, limiting the model's performance on new tasks. The latter lies in existing research modeling only global optimal weights, neglecting the supervision signals in local target weights. Moreover, naively assigning local target weights causes local-global inconsistency. To address these issues, we propose Mc-Di, which integrates the diffusion algorithm with meta-learning for better generalizability. Furthermore, we extend the vanilla diffusion into a local consistency diffusion algorithm. Our theory and experiments demonstrate that it can learn from local targets while maintaining consistency with the global optima. We validate Mc-Di's superior accuracy and inference efficiency in tasks that require frequent weight updates, including transfer learning, few-shot learning, domain generalization, and large language model adaptation.
• Abstract（参考訳）: 拡散に基づくアルゴリズムは、重量生成の有望な技術として登場してきた。 しかし、既存の解は一般化可能性と局所目標割り当てという2つの課題によって制限されている。 前者は、既存の単一レベル最適化手法におけるクロスタスク転送可能性の欠如から生じ、新しいタスクにおけるモデルの性能が制限される。 後者は、グローバルな最適な重量のみをモデル化し、局所的な目標重量の監視信号を無視した既存の研究モデルにある。 さらに、局所的目標重み付けは局所的グロバル不整合を引き起こす。 これらの問題に対処するために,拡散アルゴリズムとメタラーニングを統合したMc-Diを提案する。 さらに,バニラ拡散を局所一貫性拡散アルゴリズムに拡張する。 我々の理論と実験は、グローバル最適値との整合性を維持しながら、局所目標から学習できることを実証している。 我々は,移動学習,少数ショット学習,ドメイン一般化,大規模言語モデル適応など,頻繁な重み付け更新を必要とするタスクにおいて,Mc-Diの精度と推論効率を検証した。

関連論文リスト

• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Training Artificial Neural Networks by Coordinate Search Algorithm [0.20971479389679332]
  本稿では、ニューラルネットワークのトレーニングのための勾配自由座標探索(CS)アルゴリズムの効率的なバージョンを提案する。 提案アルゴリズムは、微分不可能なアクティベーション関数で使用することができ、多目的/マルチロス問題に適合する。 ANNの重みに対する最適値を求めることは、大規模な最適化問題である。
  論文  参考訳（メタデータ） (2024-02-20T01:47:25Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• NUPES : Non-Uniform Post-Training Quantization via Power Exponent Search [7.971065005161565]
  量子化は浮動小数点表現を低ビット幅の固定点表現に変換する技術である。 量子化空間全体にわたって新しい量子化重みを学習する方法を示す。 本研究では,データフリーとデータ駆動の両構成において,最先端の圧縮率を実現する手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-08-10T14:19:58Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。