論文の概要: Bridging the Vision-Brain Gap with an Uncertainty-Aware Blur Prior

• arxiv url: http://arxiv.org/abs/2503.04207v1
• Date: Thu, 06 Mar 2025 08:31:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:59:34.045192
• Title: Bridging the Vision-Brain Gap with an Uncertainty-Aware Blur Prior
• Title（参考訳）: 不確かさを意識したブラジャーによる視覚ブラインドギャップのブリッジ
• Authors: Haitao Wu, Qing Li, Changqing Zhang, Zhen He, Xiaomin Ying,
• Abstract要約: 我々はtextbfUncertainty-aware Blur Prior (UBP) と呼ばれるシンプルで効果的な手法を提案する。 これは、脳信号と視覚刺激のミスマッチを反映して、ペアデータ内の不確実性を推定する。 本手法は,ゼロショット脳画像検索タスクにおいて,textbf50.9%のTop-1精度とtextbf79.7%のTop-5精度を実現する。
• 参考スコア（独自算出の注目度）: 26.191158705959136
• License:
• Abstract: Can our brain signals faithfully reflect the original visual stimuli, even including high-frequency details? Although human perceptual and cognitive capacities enable us to process and remember visual information, these abilities are constrained by several factors, such as limited attentional resources and the finite capacity of visual memory. When visual stimuli are processed by human visual system into brain signals, some information is inevitably lost, leading to a discrepancy known as the \textbf{System GAP}. Additionally, perceptual and cognitive dynamics, along with technical noise in signal acquisition, degrade the fidelity of brain signals relative to the visual stimuli, known as the \textbf{Random GAP}. When encoded brain representations are directly aligned with the corresponding pretrained image features, the System GAP and Random GAP between paired data challenge the model, requiring it to bridge these gaps. However, in the context of limited paired data, these gaps are difficult for the model to learn, leading to overfitting and poor generalization to new data. To address these GAPs, we propose a simple yet effective approach called the \textbf{Uncertainty-aware Blur Prior (UBP)}. It estimates the uncertainty within the paired data, reflecting the mismatch between brain signals and visual stimuli. Based on this uncertainty, UBP dynamically blurs the high-frequency details of the original images, reducing the impact of the mismatch and improving alignment. Our method achieves a top-1 accuracy of \textbf{50.9\%} and a top-5 accuracy of \textbf{79.7\%} on the zero-shot brain-to-image retrieval task, surpassing previous state-of-the-art methods by margins of \textbf{13.7\%} and \textbf{9.8\%}, respectively. Code is available at \href{https://github.com/HaitaoWuTJU/Uncertainty-aware-Blur-Prior}{GitHub}.
• Abstract（参考訳）: 私たちの脳の信号は、高周波の詳細も含めて、元の視覚刺激を忠実に反映できるだろうか? 人間の知覚能力と認知能力は視覚情報の処理と記憶を可能にするが、これらの能力は、限られた注意資源や視覚記憶の有限能力など、いくつかの要因によって制限されている。 視覚刺激が人間の視覚システムによって脳信号に処理されると、いくつかの情報は必然的に失われ、 \textbf{System GAP} と呼ばれる相違が生じる。 さらに、知覚と認知のダイナミクスは、信号取得の技術的ノイズとともに、視覚刺激に対する脳信号の忠実度を低下させ、これは「textbf{Random GAP}」として知られる。 符号化された脳表現が、対応する事前訓練された画像特徴と直接一致している場合、システムGAPとランダムGAPは、ペアのデータ間でモデルに挑戦し、これらのギャップを埋める必要がある。 しかし、限られたペアデータの場合、これらのギャップはモデルが学習するのは難しいため、新しいデータに過度に適合し、一般化が不十分になる。 これらのGAPに対処するために, 単純かつ効果的なアプローチである \textbf{Uncertainty-aware Blur Prior (UBP) を提案する。 これは、脳信号と視覚刺激のミスマッチを反映して、ペアデータ内の不確実性を推定する。 この不確実性に基づいて、UPPは元の画像の高周波の詳細を動的に曖昧にし、ミスマッチの影響を低減し、アライメントを改善する。 本手法は, ゼロショット脳画像検索タスクにおいて, ゼロショット脳画像検索タスクにおいて, トップ1の精度である「textbf{50.9\%」と「textbf{79.7\%」の精度を, それぞれ「textbf{13.7\%」と「textbf{9.8\%」のマージンでそれぞれ上回り, トップ5の精度を達成する。 コードは \href{https://github.com/HaitaoWuTJU/Uncertainty-aware-Blur-Prior}{GitHub} で公開されている。

関連論文リスト

• Modeling User Preferences via Brain-Computer Interfacing [54.3727087164445]
  我々はBrain-Computer Interface技術を用いてユーザの好みを推測し、その注意力は視覚的コンテンツと感情的体験との関連性に相関する。 我々はこれらを,情報検索,生成モデルのパーソナライズされたステアリング,感情経験のクラウドソーシング人口推定など,関連するアプリケーションにリンクする。
  論文  参考訳（メタデータ） (2024-05-15T20:41:46Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• HHP-Net: A light Heteroscedastic neural network for Head Pose estimation with uncertainty [2.064612766965483]
  そこで,本研究では,頭部キーポイントの小さなセットから始まる,単一画像中の人物の頭部ポーズを推定する新しい手法を提案する。 私たちのモデルは実装が簡単で、芸術の状況に関してより効率的です。
  論文  参考訳（メタデータ） (2021-11-02T08:55:45Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Robust Data Hiding Using Inverse Gradient Attention [82.73143630466629]
  データ隠蔽タスクでは、異なる耐久性を有するため、カバー画像の各ピクセルを別々に扱う必要がある。 Inverse Gradient Attention (IGA) を用いた新しい深層データ隠蔽方式を提案する。 実証的な実験により、提案モデルが2つの先行するデータセット上で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-11-21T19:08:23Z)
• HM4: Hidden Markov Model with Memory Management for Visual Place Recognition [54.051025148533554]
  自律運転における視覚的位置認識のための隠れマルコフモデルを提案する。 我々のアルゴリズムはHM$4$と呼ばれ、時間的ルックアヘッドを利用して、有望な候補画像をパッシブストレージとアクティブメモリ間で転送する。 固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-01T08:49:24Z)
• Implicit Saliency in Deep Neural Networks [15.510581400494207]
  本稿では,既存の認識と局所化の深部構造が人間の視覚的正当性を予測できることを示す。 予測ミスマッチ仮説を教師なし方式で計算し,その暗黙の正当性を計算する。 実験の結果,この方法での塩分濃度の抽出は,最先端の教師付きアルゴリズムに対して測定した場合と同等の性能を示すことがわかった。
  論文  参考訳（メタデータ） (2020-08-04T23:14:24Z)
• Deep Graph Random Process for Relational-Thinking-Based Speech Recognition [12.09786458466155]
  リレーショナルシンキングは、新しい感覚信号と事前知識の関係に関する無数の無意識の知覚に依存している。 本稿では,深部グラフランダムプロセス (DGP) と呼ばれるベイズ的非パラメトリック深層学習手法を提案する。 我々の手法は、訓練中に関係データを用いることなく、発話間の関係を推測できる。
  論文  参考訳（メタデータ） (2020-07-04T15:27:57Z)
• Relational Deep Feature Learning for Heterogeneous Face Recognition [17.494718795454055]
  一般的な顔の特徴に加えて,グローバルな関係情報を抽出するグラフモジュール (Graph Module, NIR) を提案する。 提案手法は,5つの異種顔認識(HFR)データベースにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-02T07:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。