論文の概要: Images as Weight Matrices: Sequential Image Generation Through Synaptic Learning Rules

• arxiv url: http://arxiv.org/abs/2210.06184v1
• Date: Fri, 7 Oct 2022 17:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 15:55:16.189174
• Title: Images as Weight Matrices: Sequential Image Generation Through Synaptic Learning Rules
• Title（参考訳）: 重みとしてのイメージ:シナプス学習規則による逐次画像生成
• Authors: Kazuki Irie, J\"urgen Schmidhuber
• Abstract要約: 高速ウェイトプログラマはデルタ学習ルールのシーケンスを実行して画像を生成することを学ぶ。 これらの一般的な学習ルールは、どのようにして視覚的品質の高い画像を生成するかを示す。 FPAの出力における新たな畳み込みU-Netは、FPA生成画像の一段階の「デノイング」を学習して、その品質を高めることができる。
• 参考スコア（独自算出の注目度）: 9.605853974038936
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Work on fast weight programmers has demonstrated the effectiveness of key/value outer product-based learning rules for sequentially generating a weight matrix (WM) of a neural net (NN) by another NN or itself. However, the weight generation steps are typically not visually interpretable by humans, because the contents stored in the WM of an NN are not. Here we apply the same principle to generate natural images. The resulting fast weight painters (FPAs) learn to execute sequences of delta learning rules to sequentially generate images as sums of outer products of self-invented keys and values, one rank at a time, as if each image was a WM of an NN. We train our FPAs in the generative adversarial networks framework, and evaluate on various image datasets. We show how these generic learning rules can generate images with respectable visual quality without any explicit inductive bias for images. While the performance largely lags behind the one of specialised state-of-the-art image generators, our approach allows for visualising how synaptic learning rules iteratively produce complex connection patterns, yielding human-interpretable meaningful images. Finally, we also show that an additional convolutional U-Net (now popular in diffusion models) at the output of an FPA can learn one-step "denoising" of FPA-generated images to enhance their quality. Our code is public.
• Abstract（参考訳）: 高速ウェイトプログラマの研究は、他のNNやそれ自身によってニューラルネットワーク(NN)の重み行列(WM)を逐次生成するキー/値外積ベースの学習ルールの有効性を実証した。 しかしながら、nnのwmに格納されているコンテンツは、人間によって視覚的に解釈できないため、重量生成ステップは一般には解釈できない。 ここでは、同じ原理を自然画像生成に適用する。 その結果、高速ウェイト画家(FPA)はデルタ学習規則のシーケンスを実行し、各画像がNNのWMであるかのように、自己発明されたキーと値の外部積の和として画像を逐次生成する。 我々はFPAを生成的敵ネットワークフレームワークで訓練し、様々な画像データセットで評価する。 これらの汎用学習ルールが,画像に対する明示的な帰納的バイアスを伴わずに,優れた視覚品質を持つ画像を生成する方法を示す。 この手法は, 合成学習規則が複雑な接続パターンを反復的に生成し, 人間の解釈可能な有意義な画像を生成する方法の可視化を可能にする。 最後に、FPAの出力に新たな畳み込みU-Net(現在は拡散モデルで普及している)を付加することで、FPA生成画像の一段階の「デノゲーション」を学習し、その品質を向上させることを示す。 私たちのコードは公開されています。

関連論文リスト

• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• Using a Conditional Generative Adversarial Network to Control the Statistical Characteristics of Generated Images for IACT Data Analysis [55.41644538483948]
  画像のプロパティの値に応じて、画像を複数のクラスに分割し、新しい画像を生成する際に必要なクラスを指定する。 大気圧チェレンコフ望遠鏡(IACT)の画像の場合、重要な点は全画像ピクセル(画像サイズ)の明るさである。 我々は,TAIGA-IACT実験で得られた画像と類似した画像を生成するために,cGAN技術を使用した。
  論文  参考訳（メタデータ） (2022-11-28T22:30:33Z)
• Traditional Classification Neural Networks are Good Generators: They are Competitive with DDPMs and GANs [104.72108627191041]
  従来のニューラルネットワーク分類器は、最先端の生成モデルに匹敵する高品質な画像を生成することができることを示す。 マスクをベースとした再構成モジュールを提案し, 意味的勾配を意識し, 可視画像の合成を行う。 また,本手法は,画像テキスト基盤モデルに関して,テキスト・画像生成にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T11:25:35Z)
• MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis [33.46831766206675]
  MASked Generative (MAGE)は、SOTA画像生成と自己教師付き表現学習を統合するための最初のフレームワークである。 以前の生成モデルにインスパイアされたMAGEは、入力と出力でベクトル量子化されたGANによって学習された意味トークンを使用する。 ImageNet-1Kでは、1つのMAGE ViT-Lモデルがクラス非条件画像生成のタスクで9.10 FIDを得る。
  論文  参考訳（メタデータ） (2022-11-16T18:59:02Z)
• Enhance Images as You Like with Unpaired Learning [8.104571453311442]
  本稿では,低照度から高照度の画像空間における一対多の関係を学習するために,軽量な一経路条件生成対向ネットワーク(cGAN)を提案する。 我々のネットワークは、様々な参照画像上に設定された所定の入力条件から、拡張された画像の集合を生成することを学習する。 我々のモデルは、ノイズとクリーンなデータセットの完全な教師付き手法と同等に競合する視覚的および定量的な結果を得る。
  論文  参考訳（メタデータ） (2021-10-04T03:00:44Z)
• Neural Knitworks: Patched Neural Implicit Representation Networks [1.0470286407954037]
  画像合成を実現する自然画像の暗黙的表現学習のためのアーキテクチャであるKnitworkを提案する。 私たちの知る限りでは、画像のインペインティング、超解像化、デノイングといった合成作業に適した座標ベースのパッチの実装は、これが初めてである。 その結果, ピクセルではなくパッチを用いた自然な画像のモデリングにより, 忠実度が高い結果が得られた。
  論文  参考訳（メタデータ） (2021-09-29T13:10:46Z)
• Ensembling with Deep Generative Views [72.70801582346344]
  生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。 そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。 StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
  論文  参考訳（メタデータ） (2021-04-29T17:58:35Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• Text-to-Image Generation with Attention Based Recurrent Neural Networks [1.2599533416395765]
  我々は,安定なキャプションベース画像生成モデルを構築した。 実験はMicrosoftデータセット上で行われる。 その結果,提案手法は現代の手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-01-18T12:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。