Fugu-MT 論文翻訳(概要): Weight Space Representation Learning with Neural Fields

論文の概要: Weight Space Representation Learning with Neural Fields

arxiv url: http://arxiv.org/abs/2512.01759v1
Date: Mon, 01 Dec 2025 15:05:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-02 19:46:34.91003
Title: Weight Space Representation Learning with Neural Fields
Title（参考訳）: ニューラルネットワークを用いた重み空間表現学習
Authors: Zhuoqian Yang, Mathieu Salzmann, Sabine Süsstrunk,
Abstract要約: 本研究では,ニューラルネットワークに着目し,重みが効果的に表現できる可能性について検討する。我々の重要な洞察は、事前訓練されたベースモデルとローランク適応(LoRA)による最適化空間の制約が重み空間の構造を誘導できるということである。 2次元および3次元データの再構成・生成・解析タスク全体にわたって、乗法的LoRA重みは、特異性とセマンティック構造を示しながら、高い表現品質を実現する。
参考スコア（独自算出の注目度）: 69.85677017502826
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this work, we investigate the potential of weights to serve as effective representations, focusing on neural fields. Our key insight is that constraining the optimization space through a pre-trained base model and low-rank adaptation (LoRA) can induce structure in weight space. Across reconstruction, generation, and analysis tasks on 2D and 3D data, we find that multiplicative LoRA weights achieve high representation quality while exhibiting distinctiveness and semantic structure. When used with latent diffusion models, multiplicative LoRA weights enable higher-quality generation than existing weight-space methods.
Abstract（参考訳）: 本研究では,ニューラルネットワークに着目し,重みが効果的に表現できる可能性について検討する。我々の重要な洞察は、事前訓練されたベースモデルとローランク適応(LoRA)による最適化空間の制約が重み空間の構造を誘導できるということである。 2次元および3次元データの再構成・生成・解析タスク全体にわたって、乗法的LoRA重みは、特異性とセマンティック構造を示しながら、高い表現品質を実現する。遅延拡散モデルを用いた場合、乗法的なLoRA重みは既存の重み空間法よりも高品質な生成を可能にする。

関連論文リスト

COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence [57.63155257058967]
我々は,統合MLLMが空間知覚を高める本質的な能力を発達させ,適応的インターリーブ推論により,より強力な空間知性を実現することができるかどうかを検討する。深度とセグメンテーションを補助モダリティとして活用し,補助モダリティ生成と適応的,インターリーブな推論能力を得るために2段階の訓練を施した統合MLLMである textbfCOOPER を提案する。
論文参考訳（メタデータ） (2025-12-04T08:26:04Z)
Geometric Flow Models over Neural Network Weights [0.0]
ニューラルネットワークの重みの生成モデルは、ディープラーニング、学習最適化、転送学習など、多様なアプリケーションセットに役立ちます。既存の重み空間生成モデルの研究は、しばしばニューラルネットワークの重みの対称性を無視したり、そのサブセットを考慮に入れたりする。我々は最近,フローマッチングを用いた生成モデルの構築と,3つの異なる重み空間フローを設計するための重み空間グラフニューラルネットワークを構築した。
論文参考訳（メタデータ） (2025-03-27T19:29:44Z)
Shape Generation via Weight Space Learning [12.429026910048528]
大規模な3次元形状生成モデル内の部分多様体は、トポロジカルな特性や微細な部分の特徴を別々に調整できることを示す。結果は3次元形状生成と特殊微調整のための新しいアプローチを解き放つための重み空間学習の可能性を強調した。
論文参考訳（メタデータ） (2025-03-26T15:49:27Z)
Structure Is Not Enough: Leveraging Behavior for Neural Network Weight Reconstruction [6.926413609535758]
NN重みを利用する1つのアプローチは、コントラストと再構成損失を用いたオートエンコーダ(AE)の訓練である。 AEは、元のモデルと比べて性能が低下したNNモデルを再構築し、モデルの重量発生に関して使用性を制限した。構造的信号と振舞い信号の相乗効果が強く, 下流の全てのタスクにおいて性能が向上することを示した。
論文参考訳（メタデータ） (2025-03-21T13:39:04Z)
LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文参考訳（メタデータ） (2024-10-28T17:14:01Z)
Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
論文参考訳（メタデータ） (2024-10-05T15:52:47Z)
DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
論文参考訳（メタデータ） (2024-08-13T09:00:35Z)
Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文参考訳（メタデータ） (2024-02-28T08:34:23Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Models [96.9373147383119]
重みの絡み合いがタスク算術を効果的にするための重要な要素であることを示す。それらの接空間における微調整モデルを線形化することにより、重みの絡み合いを増幅することを示した。これにより、タスク演算ベンチマークや多種多様なモデルで大幅にパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-05-22T08:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。