論文の概要: Cones: Concept Neurons in Diffusion Models for Customized Generation

• arxiv url: http://arxiv.org/abs/2303.05125v1
• Date: Thu, 9 Mar 2023 09:16:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:25:51.451019
• Title: Cones: Concept Neurons in Diffusion Models for Customized Generation
• Title（参考訳）: Cones: カスタマイズ生成のための拡散モデルにおける概念ニューロン
• Authors: Zhiheng Liu, Ruili Feng, Kai Zhu, Yifei Zhang, Kecheng Zheng, Yu Liu, Deli Zhao, Jingren Zhou, Yang Cao
• Abstract要約: 本稿では,特定の対象に対応する拡散モデルにおいて,ニューロンの小さな集合を見出す。 概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。 大規模な応用においては、ニューロンは環境に優しいため、密度の高いfloat32値ではなく、sparseクラスタのintインデックスを格納するだけである。
• 参考スコア（独自算出の注目度）: 41.212255848052514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human brains respond to semantic features of presented stimuli with different neurons. It is then curious whether modern deep neural networks admit a similar behavior pattern. Specifically, this paper finds a small cluster of neurons in a diffusion model corresponding to a particular subject. We call those neurons the concept neurons. They can be identified by statistics of network gradients to a stimulation connected with the given subject. The concept neurons demonstrate magnetic properties in interpreting and manipulating generation results. Shutting them can directly yield the related subject contextualized in different scenes. Concatenating multiple clusters of concept neurons can vividly generate all related concepts in a single image. A few steps of further fine-tuning can enhance the multi-concept capability, which may be the first to manage to generate up to four different subjects in a single image. For large-scale applications, the concept neurons are environmentally friendly as we only need to store a sparse cluster of int index instead of dense float32 values of the parameters, which reduces storage consumption by 90\% compared with previous subject-driven generation methods. Extensive qualitative and quantitative studies on diverse scenarios show the superiority of our method in interpreting and manipulating diffusion models.
• Abstract（参考訳）: 人間の脳は、異なるニューロンで提示された刺激のセマンティックな特徴に反応する。 そして、現代のディープニューラルネットワークが類似の行動パターンを認めるかどうか興味をそそられる。 具体的には、特定の対象に対応する拡散モデルにおいて、ニューロンの小さなクラスターを見つける。 これらのニューロンを概念ニューロンと呼びます。 ネットワーク勾配の統計から、与えられた被験者に関連付けられた刺激を同定することができる。 概念ニューロンは、生成結果の解釈と操作において磁気特性を示す。 それらをシャットダウンすることで、関連する主題を異なるシーンでコンテキスト化することができる。 概念ニューロンの複数のクラスターを連結することで、1つの画像で関連する全ての概念を鮮やかに生成することができる。 さらに微調整を行ういくつかのステップは、単一のイメージで最大4つの異なる主題を生成できる、マルチコンセプト機能を強化することができる。 大規模アプリケーションでは、パラメータの密集したfloat32値ではなく、intインデックスのばらばらなクラスタを格納するだけで、従来のサブジェクト駆動型生成法に比べてストレージ消費を90%削減できるため、概念ニューロンは環境にやさしい。 多様なシナリオに関する大規模定性的および定量的研究は,拡散モデルの解釈と操作において,我々の手法の優位性を示している。

関連論文リスト

• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Disentangling Neuron Representations with Concept Vectors [0.0]
  本研究の主な貢献は, 異なる特徴をカプセル化した概念ベクトルに多面体ニューロンをアンタングル化する手法である。 評価の結果,概念ベクトルはコヒーレントで人間に理解可能な特徴をエンコードしていることがわかった。
  論文  参考訳（メタデータ） (2023-04-19T14:55:31Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• NeuroCartography: Scalable Automatic Visual Summarization of Concepts in Deep Neural Networks [18.62960153659548]
  NeuroCartographyは、ニューラルネットワークで学んだ概念を要約し視覚化するインタラクティブシステムである。 同じ概念を検知するニューロンを自動的に発見し、グループ化する。 このようなニューロン群がどのように相互作用し、より高いレベルの概念とその後の予測を形成するかを記述する。
  論文  参考訳（メタデータ） (2021-08-29T22:43:52Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。