論文の概要: Improving Brain-to-Image Reconstruction via Fine-Grained Text Bridging

• arxiv url: http://arxiv.org/abs/2505.22150v2
• Date: Thu, 29 May 2025 05:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 13:10:25.786064
• Title: Improving Brain-to-Image Reconstruction via Fine-Grained Text Bridging
• Title（参考訳）: 微細テキストブリジングによる脳画像再構成の改善
• Authors: Runze Xia, Shuo Feng, Renzhi Wang, Congchi Yin, Xuyun Wen, Piji Li,
• Abstract要約: 微細なブレイン・トゥ・イメージ再構成は、微細なテキストをブリッジとして利用して画像再構成を改善する。 FgB2Iは3つの重要なステージで構成されている。
• 参考スコア（独自算出の注目度）: 24.89024189635767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-to-Image reconstruction aims to recover visual stimuli perceived by humans from brain activity. However, the reconstructed visual stimuli often missing details and semantic inconsistencies, which may be attributed to insufficient semantic information. To address this issue, we propose an approach named Fine-grained Brain-to-Image reconstruction (FgB2I), which employs fine-grained text as bridge to improve image reconstruction. FgB2I comprises three key stages: detail enhancement, decoding fine-grained text descriptions, and text-bridged brain-to-image reconstruction. In the detail-enhancement stage, we leverage large vision-language models to generate fine-grained captions for visual stimuli and experimentally validate its importance. We propose three reward metrics (object accuracy, text-image semantic similarity, and image-image semantic similarity) to guide the language model in decoding fine-grained text descriptions from fMRI signals. The fine-grained text descriptions can be integrated into existing reconstruction methods to achieve fine-grained Brain-to-Image reconstruction.
• Abstract（参考訳）: 脳と画像の再構築は、人間の知覚する視覚刺激を脳活動から回復することを目的としている。 しかし、再構成された視覚刺激は、しばしば詳細や意味上の矛盾を欠いている。 この問題に対処するために,細粒度脳画像再構成 (FgB2I) という手法を提案する。 FgB2Iは3つの重要なステージで構成されている。 詳細化の段階では、大きな視覚言語モデルを利用して視覚刺激のためのきめ細かいキャプションを生成し、その重要性を実験的に検証する。 本稿では, fMRI信号から微細なテキスト記述を復号する際に, 3つの報酬指標(オブジェクトの精度, テキストのセマンティックな類似性, 画像のセマンティックな類似性)を提案する。 微細なテキスト記述を既存の再構成手法に統合して、きめ細かいブレイン・トゥ・イメージ再構成を実現することができる。

関連論文リスト

• Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
  現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。 Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。 我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
  論文  参考訳（メタデータ） (2024-09-18T16:19:57Z)
• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Remember What You have drawn: Semantic Image Manipulation with Memory [84.74585786082388]
  本稿では,リアルでテキスト変換された画像を生成するメモリベースの画像操作ネットワーク(MIM-Net)を提案する。 頑健なメモリを学習するために,新しいランダム化メモリトレーニング損失を提案する。 4つの一般的なデータセットに対する実験は、既存のデータセットと比較して、我々の手法の優れた性能を示している。
  論文  参考訳（メタデータ） (2021-07-27T03:41:59Z)
• Reconstructing Perceptive Images from Brain Activity by Shape-Semantic GAN [16.169414324390218]
  fMRI記録からの画像の再構成は神経科学の吸収研究領域である。 脳内の視覚的エンコーディングは非常に複雑で、完全には明らかになっていない。 視覚的特徴が大脳皮質で階層的に表現されるという理論に着想を得て,複雑な視覚信号を多段階成分に分解することを提案する。
  論文  参考訳（メタデータ） (2021-01-28T16:04:17Z)
• Image-to-Image Translation with Text Guidance [139.41321867508722]
  本研究の目的は,制御可能な因子,すなわち自然言語記述を生成的敵ネットワークを用いた画像から画像への変換に組み込むことである。 提案する4つのキーコンポーネントは,(1)非意味的単語をフィルタリングする部分音声タグの実装,(2) 異なるモダリティテキストと画像特徴を効果的に融合するアフィン結合モジュールの採用,(3) 識別器の差分能力と生成器の整形能力を高めるための改良された多段階アーキテクチャである。
  論文  参考訳（メタデータ） (2020-02-12T21:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。