論文の概要: Uni-Neur2Img: Unified Neural Signal-Guided Image Generation, Editing, and Stylization via Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2512.18635v1
- Date: Sun, 21 Dec 2025 08:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.4319
- Title: Uni-Neur2Img: Unified Neural Signal-Guided Image Generation, Editing, and Stylization via Diffusion Transformers
- Title（参考訳）: Uni-Neur2Img:拡散変換器による統一ニューラル信号誘導画像生成、編集、スティル化
- Authors: Xiyue Bai, Ronghao Yu, Jia Xiu, Pengfei Zhou, Jie Xia, Peng Ji,
- Abstract要約: ニューラル信号駆動画像生成と編集のための統合フレームワークUni-Neur2Imgを提案する。
Uni-Neur2Imgは、統合され、効率的で効率的な、神経信号と視覚コンテンツ生成のためのソリューションを提供する。
- 参考スコア（独自算出の注目度）: 6.311754400490674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating or editing images directly from Neural signals has immense potential at the intersection of neuroscience, vision, and Brain-computer interaction. In this paper, We present Uni-Neur2Img, a unified framework for neural signal-driven image generation and editing. The framework introduces a parameter-efficient LoRA-based neural signal injection module that independently processes each conditioning signal as a pluggable component, facilitating flexible multi-modal conditioning without altering base model parameters. Additionally, we employ a causal attention mechanism accommodate the long-sequence modeling demands of conditional generation tasks. Existing neural-driven generation research predominantly focuses on textual modalities as conditions or intermediate representations, resulting in limited exploration of visual modalities as direct conditioning signals. To bridge this research gap, we introduce the EEG-Style dataset. We conduct comprehensive evaluations across public benchmarks and self-collected neural signal datasets: (1) EEG-driven image generation on the public CVPR40 dataset; (2) neural signal-guided image editing on the public Loongx dataset for semantic-aware local modifications; and (3) EEG-driven style transfer on our self-collected EEG-Style dataset. Extensive experimental results demonstrate significant improvements in generation fidelity, editing consistency, and style transfer quality while maintaining low computational overhead and strong scalability to additional modalities. Thus, Uni-Neur2Img offers a unified, efficient, and extensible solution for bridging neural signals and visual content generation.
- Abstract（参考訳）: ニューラル信号から直接画像を生成または編集することは、神経科学、視覚、脳とコンピュータの相互作用の交差において大きな可能性を秘めている。
本稿では,ニューラル信号駆動画像生成と編集のための統合フレームワークUni-Neur2Imgを提案する。
このフレームワークはパラメータ効率のよいLoRAベースのニューラルシグナル注入モジュールを導入し、各コンディショニング信号をプラガブルコンポーネントとして独立に処理し、ベースモデルパラメータを変更することなく柔軟なマルチモーダルコンディショニングを容易にする。
さらに、条件生成タスクの長時間のモデリング要求に対応する因果注意機構を用いる。
既存のニューラル駆動生成研究は、主に条件または中間表現としてのテキストモダリティに焦点を当てており、結果として直接条件信号としての視覚的モダリティの探索が限られている。
この研究ギャップを埋めるために、我々はEEG-Styleデータセットを導入します。
1)パブリックCVPR40データセット上での脳波駆動画像生成,(2)公共Longxデータセット上での脳波誘導画像編集,(3)自己コンパイル型EEG-Styleデータセット上での脳波駆動のスタイル転送。
計算オーバーヘッドの低減と拡張性の向上を両立させつつ, 生成忠実度, 編集整合性, スタイル転送品質の大幅な向上を図った。
したがって、Uni-Neur2Imgは、統合され、効率的で拡張可能なソリューションを提供し、神経信号と視覚コンテンツを生成する。
関連論文リスト
- BrainRVQ: A High-Fidelity EEG Foundation Model via Dual-Domain Residual Quantization and Hierarchical Autoregression [26.114257185901838]
臨床脳波データの大規模コーパスを事前学習した汎用脳波基礎モデルであるBrainRVQを提案する。
BrainRVQはDual-Domain Residual Vector Quantization (DD-RVQ)トークンを特徴としている。
論文 参考訳（メタデータ） (2026-02-18T23:30:36Z) - NeuroCLIP: Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning [13.254096454986318]
脳波から画像へのコントラスト学習に適したプロンプトチューニングフレームワークであるNeuroCLIPを提案する。
我々は初めて視覚的プロンプトトークンを脳波画像アライメントに導入し、グローバルなモダリティレベルのプロンプトとして機能する。
THINGS-EEG2データセットでは、NeuroCLIPはゼロショット画像検索において63.2%のTop-1精度を達成した。
論文 参考訳（メタデータ） (2025-11-12T12:13:24Z) - SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder [0.0]
SynAPSEは、脳波信号表現学習と高忠実度画像合成を橋渡しする2段階のフレームワークである。
本手法はCVPR40データセット上で,意味的コヒーレントな潜在空間と最先端の知覚的忠実性を実現する。
論文 参考訳（メタデータ） (2025-11-11T02:53:49Z) - NeuroRVQ: Multi-Scale EEG Tokenization for Generative Large Brainwave Models [66.91449452840318]
我々は、コードブックベースのトークン化装置を中心としたスケーラブルな大脳波モデル(LBM)であるNeuroRVQを紹介する。
我々のトークンライザは, (i) フル周波数のニューラルスペクトルを捕捉するマルチスケール特徴抽出モジュール, (ii) 高精細符号化のための階層的残留ベクトル量子化(RVQ)コードブック, (iii) 効率的なトレーニングのためのEEG信号位相および振幅認識損失関数を統合する。
実験の結果,NeuroRVQは再建誤差を低くし,様々な下流タスクにおいて既存のLBMよりも優れることがわかった。
論文 参考訳（メタデータ） (2025-10-15T01:26:52Z) - Spatial-Functional awareness Transformer-based graph archetype contrastive learning for Decoding Visual Neural Representations from EEG [3.661246946935037]
本稿では,脳波に基づく視覚的デコーディングを強化するために,空間認識変換器を用いたグラフアーチタイプコントラスト学習(SFTG)フレームワークを提案する。
具体的には、空間的脳の接続性と時間的神経力学を同時に符号化する新しいグラフベースのニューラルアーキテクチャであるEEG Graph Transformer(EGT)を紹介する。
高い対象内変動を緩和するために,特徴の整合性とクラス分離性を改善するために,主観固有の脳波グラフアーチタイプを学習するグラフアーチタイプコントラスト学習(GAC)を提案する。
論文 参考訳（メタデータ） (2025-09-29T13:27:55Z) - Neural-Driven Image Editing [51.11173675034121]
従来の画像編集は手動のプロンプトに依存しており、運動制御や言語能力に制限のある個人には労働集約的でアクセスできない。
神経生理学的信号によるハンズフリー画像編集手法であるLoongXを提案する。
LoongXは、23,928の画像編集ペアの包括的なデータセットに基づいてトレーニングされた最先端の拡散モデルを使用している。
論文 参考訳（メタデータ） (2025-07-07T18:31:50Z) - BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。
既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。
EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文 参考訳（メタデータ） (2025-05-18T14:07:14Z) - CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。
具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。
このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文 参考訳（メタデータ） (2024-12-13T16:27:54Z) - Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。
学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。
各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-09-26T16:22:08Z) - A Hybrid End-to-End Spatio-Temporal Attention Neural Network with
Graph-Smooth Signals for EEG Emotion Recognition [1.6328866317851187]
本稿では,ネットワーク・テンポラルエンコーディングと繰り返しアテンションブロックのハイブリッド構造を用いて,解釈可能な表現を取得するディープニューラルネットワークを提案する。
提案したアーキテクチャは、公開されているDEAPデータセット上での感情分類の最先端結果を上回ることを実証する。
論文 参考訳（メタデータ） (2023-07-06T15:35:14Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳（メタデータ） (2023-03-17T18:00:27Z) - Neural Cellular Automata Manifold [84.08170531451006]
ニューラルセルラーオートマタのニューラルネットワークアーキテクチャは、より大きなNNにカプセル化可能であることを示す。
これにより、NAAの多様体を符号化する新しいモデルを提案し、それぞれが異なる画像を生成することができる。
生物学的には、我々のアプローチは転写因子の役割を担い、細胞の分化を促進する特定のタンパク質への遺伝子マッピングを調節する。
論文 参考訳（メタデータ） (2020-06-22T11:41:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。