論文の概要: Weight Space Representation Learning with Neural Fields

• arxiv url: http://arxiv.org/abs/2512.01759v1
• Date: Mon, 01 Dec 2025 15:05:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.91003
• Title: Weight Space Representation Learning with Neural Fields
• Title（参考訳）: ニューラルネットワークを用いた重み空間表現学習
• Authors: Zhuoqian Yang, Mathieu Salzmann, Sabine Süsstrunk,
• Abstract要約: 本研究では,ニューラルネットワークに着目し,重みが効果的に表現できる可能性について検討する。 我々の重要な洞察は、事前訓練されたベースモデルとローランク適応(LoRA)による最適化空間の制約が重み空間の構造を誘導できるということである。 2次元および3次元データの再構成・生成・解析タスク全体にわたって、乗法的LoRA重みは、特異性とセマンティック構造を示しながら、高い表現品質を実現する。
• 参考スコア（独自算出の注目度）: 69.85677017502826
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we investigate the potential of weights to serve as effective representations, focusing on neural fields. Our key insight is that constraining the optimization space through a pre-trained base model and low-rank adaptation (LoRA) can induce structure in weight space. Across reconstruction, generation, and analysis tasks on 2D and 3D data, we find that multiplicative LoRA weights achieve high representation quality while exhibiting distinctiveness and semantic structure. When used with latent diffusion models, multiplicative LoRA weights enable higher-quality generation than existing weight-space methods.
• Abstract（参考訳）: 本研究では,ニューラルネットワークに着目し,重みが効果的に表現できる可能性について検討する。 我々の重要な洞察は、事前訓練されたベースモデルとローランク適応(LoRA)による最適化空間の制約が重み空間の構造を誘導できるということである。 2次元および3次元データの再構成・生成・解析タスク全体にわたって、乗法的LoRA重みは、特異性とセマンティック構造を示しながら、高い表現品質を実現する。 遅延拡散モデルを用いた場合、乗法的なLoRA重みは既存の重み空間法よりも高品質な生成を可能にする。

関連論文リスト

• Geometric Flow Models over Neural Network Weights [0.0]
  ニューラルネットワークの重みの生成モデルは、ディープラーニング、学習最適化、転送学習など、多様なアプリケーションセットに役立ちます。 既存の重み空間生成モデルの研究は、しばしばニューラルネットワークの重みの対称性を無視したり、そのサブセットを考慮に入れたりする。 我々は最近,フローマッチングを用いた生成モデルの構築と,3つの異なる重み空間フローを設計するための重み空間グラフニューラルネットワークを構築した。
  論文  参考訳（メタデータ） (2025-03-27T19:29:44Z)
• Shape Generation via Weight Space Learning [12.429026910048528]
  大規模な3次元形状生成モデル内の部分多様体は、トポロジカルな特性や微細な部分の特徴を別々に調整できることを示す。 結果は3次元形状生成と特殊微調整のための新しいアプローチを解き放つための重み空間学習の可能性を強調した。
  論文  参考訳（メタデータ） (2025-03-26T15:49:27Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
  DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。 これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。 本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-13T09:00:35Z)
• Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
  深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用 我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。 そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T15:34:44Z)
• Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
  重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。 それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。 これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-05-22T08:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。