論文の概要: Learning from Pattern Completion: Self-supervised Controllable Generation

• arxiv url: http://arxiv.org/abs/2409.18694v2
• Date: Thu, 7 Nov 2024 08:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 19:50:01.737283
• Title: Learning from Pattern Completion: Self-supervised Controllable Generation
• Title（参考訳）: パターン補完から学ぶ:自己教師型制御可能生成
• Authors: Zhiqiang Chen, Guofan Fan, Jinying Gao, Lei Ma, Bo Lei, Tiejun Huang, Shan Yu,
• Abstract要約: 本稿では,脳の連想力に寄与する神経機構にインスパイアされた,自己制御型制御可能生成(SCG)フレームワークを提案する。 実験により,モジュール型オートエンコーダは機能的特殊化を効果的に実現することが示された。 提案手法は,より難易度の高い高雑音シナリオにおいて優れたロバスト性を示すだけでなく,自己管理的な手法により,より有望なスケーラビリティの可能性を秘めている。
• 参考スコア（独自算出の注目度）: 31.694486524155593
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The human brain exhibits a strong ability to spontaneously associate different visual attributes of the same or similar visual scene, such as associating sketches and graffiti with real-world visual objects, usually without supervising information. In contrast, in the field of artificial intelligence, controllable generation methods like ControlNet heavily rely on annotated training datasets such as depth maps, semantic segmentation maps, and poses, which limits the method's scalability. Inspired by the neural mechanisms that may contribute to the brain's associative power, specifically the cortical modularization and hippocampal pattern completion, here we propose a self-supervised controllable generation (SCG) framework. Firstly, we introduce an equivariant constraint to promote inter-module independence and intra-module correlation in a modular autoencoder network, thereby achieving functional specialization. Subsequently, based on these specialized modules, we employ a self-supervised pattern completion approach for controllable generation training. Experimental results demonstrate that the proposed modular autoencoder effectively achieves functional specialization, including the modular processing of color, brightness, and edge detection, and exhibits brain-like features including orientation selectivity, color antagonism, and center-surround receptive fields. Through self-supervised training, associative generation capabilities spontaneously emerge in SCG, demonstrating excellent generalization ability to various tasks such as associative generation on painting, sketches, and ancient graffiti. Compared to the previous representative method ControlNet, our proposed approach not only demonstrates superior robustness in more challenging high-noise scenarios but also possesses more promising scalability potential due to its self-supervised manner.Codes are released on Github and Gitee.
• Abstract（参考訳）: 人間の脳は、スケッチや落書きと現実世界の視覚オブジェクトを関連付けるなど、同じまたは類似した視覚シーンの異なる視覚特性を自然に関連付ける能力を持っている。 対照的に、人工知能の分野では、コントロールネットのような制御可能な生成方法は、深度マップやセマンティックセグメンテーションマップ、ポーズといった注釈付きトレーニングデータセットに大きく依存しており、メソッドのスケーラビリティを制限している。 脳の結合力、特に大脳皮質のモジュラー化と海馬のパターンの完成に寄与する神経機構に触発された本研究では、自己制御制御可能生成(SCG)フレームワークを提案する。 まず,モジュール間独立性とモジュール間相関をモジュール間オートエンコーダネットワークで促進する等変制約を導入し,機能的特殊化を実現する。 その後、これらの特殊なモジュールに基づいて、制御可能な生成訓練に自己教師付きパターン補完アプローチを採用する。 実験結果から,色,明るさ,エッジ検出などの機能的特殊化を効果的に実現し,配向選択性,色アンタゴニティ,中心周囲受容野などの脳様特徴を呈することがわかった。 自己指導による学習を通じて、SCGに自然に連想生成能力が出現し、絵画、スケッチ、古代の落書きにおける連想生成などの様々なタスクに優れた一般化能力を示す。 従来の代表的メソッドであるControlNetと比較して,提案手法は,より難易度の高い高ノイズシナリオにおいて優れた堅牢性を示すだけでなく,自己管理的な方法でより有望なスケーラビリティを持つ。

関連論文リスト

• Exploring Latent Pathways: Enhancing the Interpretability of Autonomous Driving with a Variational Autoencoder [79.70947339175572]
  バイオインスパイアされたニューラルサーキットポリシーモデルが革新的な制御モジュールとして登場した。 我々は、変分オートエンコーダとニューラルネットワークポリシーコントローラを統合することで、飛躍的に前進する。 本研究は,変分オートエンコーダへのアーキテクチャシフトに加えて,自動潜時摂動ツールを導入する。
  論文  参考訳（メタデータ） (2024-04-02T09:05:47Z)
• Self-supervised Semi-implicit Graph Variational Auto-encoders with Masking [18.950919307926824]
  自己教師付き変分グラフオートエンコーダ(VGAE)のファミリに基づくSeeeGeraモデルを提案する。 SeeGeraは、エンコーダのノードと機能の両方を同時に埋め込み、デコーダのリンクと機能の両方を再構築する。 われわれは、SeeGeraと9つの最先端ライバルを比較した広範な実験を行っている。
  論文  参考訳（メタデータ） (2023-01-29T15:00:43Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Learning What and Where -- Unsupervised Disentangling Location and Identity Tracking [0.44040106718326594]
  教師なしLOCation and Identity Tracking System(Loci)を導入する。 ローチは脳の背腹側経路にインスパイアされ、自己監督された分離機構を用いて、何とどこにも結合する問題に取り組む。 Lociは、より深い説明指向のビデオ処理のステージを設定できる。
  論文  参考訳（メタデータ） (2022-05-26T13:30:14Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Is Disentanglement enough? On Latent Representations for Controllable Music Generation [78.8942067357231]
  強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。 VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-08-01T18:37:43Z)
• Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning [10.47937328610174]
  自己教師型学習は、監督ボトルネックを軽減するための有望な方向として現れています。 本稿では,タスク固有の自己監督のための統合フレームワークを提供する,深い確率論的論理について述べる。 次に、DPLに新たな自己スーパービジョンを自動学習する機能を追加する自己教師型自己スーパービジョン(S4)を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:25:56Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Network Bending: Expressive Manipulation of Deep Generative Models [0.2062593640149624]
  ネットワーク曲げと呼ばれる深層生成モデルを操作するための新しいフレームワークを提案する。 生成過程において意味論的に意味のある側面を直接操作できるだけでなく、幅広い表現的な結果を得ることができるかを示す。
  論文  参考訳（メタデータ） (2020-05-25T21:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。