論文の概要: Text2Weight: Bridging Natural Language and Neural Network Weight Spaces

• arxiv url: http://arxiv.org/abs/2508.13633v1
• Date: Tue, 19 Aug 2025 08:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.854902
• Title: Text2Weight: Bridging Natural Language and Neural Network Weight Spaces
• Title（参考訳）: Text2Weight: 自然言語とニューラルネットワークの重み空間をブリッジする
• Authors: Bowen Tian, Wenshuo Chen, Zexi Li, Songning Lai, Jiemin Wu, Yutao Yue,
• Abstract要約: T2Wは、自然言語の記述に基づいてタスク固有の重みを生成する拡散トランスフォーマーフレームワークである。 T2Wは階層的にネットワークパラメータを一様ブロックに処理し、CLIPからのテキスト埋め込みを事前の注意機構を通じて統合し、一般化を強化するために敵の訓練を使用する。 私たちの作業は、テキストの重み付けによるオープンソースのデータセットによってサポートされた、ウェイトスペースのダイナミックスでテキストセマンティクスを橋渡しします。
• 参考スコア（独自算出の注目度）: 4.548295330395159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How far are we really from automatically generating neural networks? While neural network weight generation shows promise, current approaches struggle with generalization to unseen tasks and practical application exploration. To address this, we propose T2W, a diffusion transformer framework that generates task-specific weights conditioned on natural language descriptions. T2W hierarchically processes network parameters into uniform blocks, integrates text embeddings from CLIP via a prior attention mechanism, and employs adversarial training with weight-space augmentation to enhance generalization. Experiments on Cifar100, Caltech256, and TinyImageNet demonstrate T2W's ability to produce high-quality weights for unseen tasks, outperforming optimization-based initialization and enabling novel applications such as weight enhancement and text-guided model fusion. Our work bridges textual semantics with weight-space dynamics, supported by an open-source dataset of text-weight pairs, advancing the practicality of generative models in neural network parameter synthesis. Our code is available on Github.
• Abstract（参考訳）: ニューラルネットワークの自動生成から、どこまで遠いのか? ニューラルネットワークの重み生成は将来性を示すが、現在のアプローチでは、目に見えないタスクへの一般化と実践的なアプリケーション探索に苦労している。 そこで本研究では,自然言語記述に基づくタスク固有の重み付けを生成する拡散トランスフォーマーフレームワークT2Wを提案する。 T2Wは階層的にネットワークパラメータを一様ブロックに処理し、CLIPからのテキスト埋め込みを事前の注意機構を通じて統合し、一般化を強化するために重み空間拡張による敵の訓練を使用する。 Cifar100、Caltech256、TinyImageNetの実験では、T2Wは、目に見えないタスクのための高品質な重みを生成でき、最適化ベースの初期化よりも優れており、ウェイトエンハンスメントやテキスト誘導モデル融合といった新しい応用を可能にしている。 我々の研究は、重み空間の力学でテキスト意味を橋渡しし、テキスト重みペアのオープンソースデータセットでサポートし、ニューラルネットワークパラメータ合成における生成モデルの実用性を向上させる。 私たちのコードはGithubで入手可能です。

関連論文リスト

• SWAT-NN: Simultaneous Weights and Architecture Training for Neural Networks in a Latent Space [6.2241272327831485]
  ニューラルネットワークのアーキテクチャと重みを同時に最適化するフレームワークを提案する。 我々のフレームワークはまず、アーキテクチャ情報とパラメトリック情報の両方を連続的な潜在空間に埋め込む、普遍的なマルチスケールオートエンコーダを訓練する。 データセットが与えられたら、埋め込み空間内の点をランダムに初期化し、勾配降下によって更新して最適なニューラルネットワークを得る。
  論文  参考訳（メタデータ） (2025-06-09T22:22:37Z)
• EWGN: Elastic Weight Generation and Context Switching in Deep Learning [0.6138671548064356]
  本稿では,2つのタスク間のコンテキスト切替のアイデアとして,Elastic Weight Generative Networks (EWGN)を紹介した。 EWGNアーキテクチャは、学習した重みを集約しながら、プライマリネットワークの重みを動的に生成する追加ネットワークを使用する。 標準的なコンピュータビジョンデータセット、すなわちMNISTとファッションMNISTを用いて、以前に学習されたタスク表現の保持を分析する。
  論文  参考訳（メタデータ） (2025-06-01T21:59:53Z)
• Recurrent Diffusion for Large-Scale Parameter Generation [52.98888368644455]
  リカレント拡散(Recurrent Diffusion for Large Scale Generation)は、単一のGPU上で最大数億のニューラルネットワークパラメータを生成する新しいフレームワークである。 RPGはAI生成において重要な進歩であり、以前は不可能と考えられていたスケールでの効率的な重量生成を可能にする可能性がある。
  論文  参考訳（メタデータ） (2025-01-20T16:46:26Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Engineering flexible machine learning systems by traversing functionally-invariant paths [1.4999444543328289]
  ニューラルネットワークのフレキシブルかつ連続的な適応を提供する微分幾何学フレームワークを導入する。 重み空間における測地路に沿った移動として適応を定式化し,二次目的に対応するネットワークを探索する。 控えめな計算資源を用いて、FIPアルゴリズムは連続的な学習とスパーシフィケーションタスクにおけるアートパフォーマンスの状態を同等に達成する。
  論文  参考訳（メタデータ） (2022-04-30T19:44:56Z)
• Speech Command Recognition in Computationally Constrained Environments with a Quadratic Self-organized Operational Layer [92.37382674655942]
  軽量ネットワークの音声コマンド認識能力を向上するネットワーク層を提案する。 この手法はテイラー展開と二次形式の概念を借用し、入力層と隠蔽層の両方における特徴のより良い表現を構築する。 このリッチな表現は、Google音声コマンド(GSC)と合成音声コマンド(SSC)データセットに関する広範な実験で示されているように、認識精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-11-23T14:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。