論文の概要: Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation

• arxiv url: http://arxiv.org/abs/2503.14572v1
• Date: Tue, 18 Mar 2025 14:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:25:23.134617
• Title: Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation
• Title（参考訳）: ロバスト・ウェイト・インプリンティング:神経崩壊とプロキシ・アグリゲーション
• Authors: Justus Westerhoff, Golzar Atefi, Mario Koddenbrock, Alexei Figueroa, Alexander Löser, Erik Rodner, Felix A. Gers,
• Abstract要約: 本稿では, 生成, 正規化, 集約という3つの主要コンポーネントを同定し, インプリントするためのフレームワークを提案する。 生成段階において、複数のプロキシで新しいデータを表現できることの利点を明らかにし、適切な正規化の重要性を示す。 私たちはこれを、神経崩壊現象によって動機付けています -- 初めて描くことができる重要なつながりです。
• 参考スコア（独自算出の注目度）: 38.36934626323981
• License:
• Abstract: The capacity of a foundation model allows for adaptation to new downstream tasks. Weight imprinting is a universal and efficient method to fulfill this purpose. It has been reinvented several times, but it has not been systematically studied. In this paper, we propose a framework for imprinting, identifying three main components: generation, normalization, and aggregation. This allows us to conduct an in-depth analysis of imprinting and a comparison of the existing work. We reveal the benefits of representing novel data with multiple proxies in the generation step and show the importance of proper normalization. We determine those proxies through clustering and propose a novel variant of imprinting that outperforms previous work. We motivate this by the neural collapse phenomenon -- an important connection that we can draw for the first time. Our results show an increase of up to 4% in challenging scenarios with complex data distributions for new classes.
• Abstract（参考訳）: ファンデーションモデルの能力は、新しい下流タスクへの適応を可能にする。 重量印字はこの目的を達成する普遍的で効率的な方法である。 何度か再発明されているが、体系的には研究されていない。 本稿では,生成,正規化,集約という3つの主要コンポーネントを同定し,インプリンティングのためのフレームワークを提案する。 これにより、インプリンティングの詳細な分析と既存の作業の比較が可能になります。 生成段階において、複数のプロキシで新しいデータを表現できることの利点を明らかにし、適切な正規化の重要性を示す。 我々はこれらのプロキシをクラスタリングによって決定し、以前の作業より優れた新しいインプリント法を提案する。 私たちはこれを、神経崩壊現象によって動機付けています -- 初めて描くことができる重要なつながりです。 以上の結果から,新しいクラスに対する複雑なデータ分散を伴う難解なシナリオでは,最大4%の増加が見られた。

関連論文リスト

• The Silent Majority: Demystifying Memorization Effect in the Presence of Spurious Correlations [19.824897288786303]
  本稿では,ネットワーク内の小さなニューロンの集合において,突発的特徴のユビキタスな存在を体系的に示す。 少数集団情報を記憶するニューロンやチャネルの小さなサブセットの性質を見いだす。 この仮説を裏付けるために,これらの不要な急激な記憶パターンをトレーニング中に新たな枠組みによって排除することは,マイノリティグループにおけるモデル性能に顕著に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2025-01-01T21:45:00Z)
• Reinforcement Learning with Generative Models for Compact Support Sets [10.041289551532804]
  基礎モデルの制御手段として強化学習を利用する枠組みを提案する。 我々のフレームワークは優れた結果をもたらし、追加のラベル付けやデータコストを使わずにかなりのマージンで分類精度を向上した。
  論文  参考訳（メタデータ） (2024-04-25T02:48:16Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• A High-Performance Customer Churn Prediction System based on Self-Attention [9.83578821760002]
  本研究は,商業銀行顧客に関する公開データセットの実験を行う。 本稿では,自己注意強化型ニューラルネットワーク(HNNSAE)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T12:16:24Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。