論文の概要: Brain-Conditional Multimodal Synthesis: A Survey and Taxonomy

• arxiv url: http://arxiv.org/abs/2401.00430v2
• Date: Wed, 3 Jan 2024 08:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 11:37:02.124027
• Title: Brain-Conditional Multimodal Synthesis: A Survey and Taxonomy
• Title（参考訳）: 脳条件型マルチモーダル合成:調査と分類
• Authors: Weijian Mai, Jian Zhang, Pengfei Fang, Zhijun Zhang
• Abstract要約: マルチモーダル合成技術の鍵となるのは、異なるモーダル間のマッピング関係を確立することである。 ブライアン条件多重モーダル合成(Brian-conditional multimodal synthesis)とは、脳の信号を知覚経験に復号することである。 この調査は、AIGC-Brainと呼ばれる、AIGCベースのBrain-conditional Multimodal Synthesisの出現する分野を包括的に調査する。
• 参考スコア（独自算出の注目度）: 18.130004804879896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of Artificial Intelligence Generated Content (AIGC), conditional multimodal synthesis technologies (e.g., text-to-image, text-to-video, text-to-audio, etc) are gradually reshaping the natural content in the real world. The key to multimodal synthesis technology is to establish the mapping relationship between different modalities. Brain signals, serving as potential reflections of how the brain interprets external information, exhibit a distinctive One-to-Many correspondence with various external modalities. This correspondence makes brain signals emerge as a promising guiding condition for multimodal content synthesis. Brian-conditional multimodal synthesis refers to decoding brain signals back to perceptual experience, which is crucial for developing practical brain-computer interface systems and unraveling complex mechanisms underlying how the brain perceives and comprehends external stimuli. This survey comprehensively examines the emerging field of AIGC-based Brain-conditional Multimodal Synthesis, termed AIGC-Brain, to delineate the current landscape and future directions. To begin, related brain neuroimaging datasets, functional brain regions, and mainstream generative models are introduced as the foundation of AIGC-Brain decoding and analysis. Next, we provide a comprehensive taxonomy for AIGC-Brain decoding models and present task-specific representative work and detailed implementation strategies to facilitate comparison and in-depth analysis. Quality assessments are then introduced for both qualitative and quantitative evaluation. Finally, this survey explores insights gained, providing current challenges and outlining prospects of AIGC-Brain. Being the inaugural survey in this domain, this paper paves the way for the progress of AIGC-Brain research, offering a foundational overview to guide future work.
• Abstract（参考訳）: 人工知能生成コンテンツ(AIGC)の時代において、条件付きマルチモーダル合成技術(例えば、テキスト・トゥ・イメージ、テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ)は、現実の世界における自然なコンテンツを徐々に作り直す。 マルチモーダル合成技術の鍵は、異なるモダリティ間のマッピング関係を確立することである。 脳信号は、脳が外部情報をどのように解釈するかの潜在的反映として機能し、様々な外部のモダリティと一対一の明確な対応を示す。 この対応により、マルチモーダルコンテンツ合成のための有望な誘導条件として脳信号が出現する。 ブライアン条件のマルチモーダル合成(Brian-conditional multimodal synthesis)とは、脳の信号を知覚経験に復号することであり、脳とコンピュータのインターフェイスシステムを実践し、脳が外部の刺激を理解し理解する方法の基礎となる複雑なメカニズムを明らかにするために重要である。 本研究は、aigc-brainと呼ばれる、aigcベースの脳条件型マルチモーダル合成の新たな分野を包括的に検討し、現在の景観と今後の方向性を明らかにした。 まず、AIGC-Brainデコーディングと分析の基礎として、関連脳神経画像データセット、機能脳領域、および主流生成モデルを導入する。 次に,aigc-脳デコードモデルのための包括的分類法を提供し,タスク固有の代表的作業と詳細な実装戦略を提示し,比較および詳細な解析を容易にする。 質評価は質評価と定量的評価の両方に導入される。 最後に、この調査は得られた洞察を探求し、aigc-brainの現在の課題と展望を概説する。 この領域における最初の調査として、AIGC-Brain研究の進展の道を開き、今後の研究を導く基礎的な概要を提供する。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation [53.70131202548981]
  本稿では,脳MRIにKGPL(Knowledge-Guided Prompt Learning)を用いた2段階のセグメンテーションフレームワークを提案する。 具体的には,大規模データセットと準最適ラベルを用いたトレーニング前セグメンテーションモデルについて述べる。 知識的プロンプトの導入は、解剖学的多様性と生物学的プロセスの間の意味的関係を捉えている。
  論文  参考訳（メタデータ） (2024-07-31T04:32:43Z)
• Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents [55.63497537202751]
  コネクショニストと象徴的人工知能(AI)の収束を探求する記事 従来、コネクショナリストAIはニューラルネットワークにフォーカスし、シンボリックAIはシンボリック表現とロジックを強調していた。 大型言語モデル(LLM)の最近の進歩は、人間の言語をシンボルとして扱う際のコネクショナリストアーキテクチャの可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-11T14:00:53Z)
• Neuro-Vision to Language: Enhancing Brain Recording-based Visual Reconstruction and Language Interaction [8.63068449082585]
  非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。 本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。 マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
  論文  参考訳（メタデータ） (2024-04-30T10:41:23Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Interpretable Graph Neural Networks for Connectome-Based Brain Disorder Analysis [31.281194583900998]
  本稿では、障害特異的な関心領域(ROI)と顕著なつながりを分析するための解釈可能なフレームワークを提案する。 提案するフレームワークは,脳ネットワーク指向の疾患予測のためのバックボーンモデルと,グローバルに共有された説明生成装置の2つのモジュールから構成される。
  論文  参考訳（メタデータ） (2022-06-30T08:02:05Z)
• Towards Understanding Human Functional Brain Development with Explainable Artificial Intelligence: Challenges and Perspectives [6.106661781836959]
  本稿では,現在最先端のAI技術が機能的脳発達にどのような影響を及ぼすかを理解することを目的とする。 また、脳の発達過程に基づいて、どのAI技術が彼らの学習を説明する可能性が高いかについてのレビューも実施されている。
  論文  参考訳（メタデータ） (2021-12-24T02:13:13Z)
• The whole brain architecture approach: Accelerating the development of artificial general intelligence by referring to the brain [1.637145148171519]
  個人が脳全体に対応するソフトウェアプログラムを設計することは困難である。 全脳アーキテクチャアプローチは、脳に触発されたAGI開発プロセスを脳の参照アーキテクチャを設計するタスクに分割する。 本研究では,仮想成分図を作成するための仮説構築手法である構造拘束型界面分解(scid)法を提案する。
  論文  参考訳（メタデータ） (2021-03-06T04:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。