論文の概要: ProtoEEG: Structured Prototype Alignment for EEG Visual Decoding
- arxiv url: http://arxiv.org/abs/2610.33065v1
- Date: Tue, 20 Oct 2026 07:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.234596
- Title: ProtoEEG: Structured Prototype Alignment for EEG Visual Decoding
- Title(参考訳): ProtoEEG:EEGビジュアルデコーディングのための構造化プロトタイプアライメント
- Abstract要約: 脳波の視覚的復号化は、頭皮の録音がうるさく、空間的に粗く、試行錯誤や被験者によって変動するため、依然として困難である。
我々は,脳波画像のアライメントを,共有可能なビジュアルコードブック上でのソフトコンポジションとして再構成するプロトタイプベースのフレームワークであるtextbfProtoEEGを提案する。
- 参考スコア(独自算出の注目度): 13.948338896972203
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: EEG visual decoding remains difficult because scalp recordings are noisy, spatially coarse, and variable across trials and subjects. Most systems align each trial with a dense image embedding, although that embedding mixes semantic content with instance-specific texture, pose, and background. This target can demand details absent from EEG and provides no explicit account of the visual factors supporting a prediction. We propose \textbf{ProtoEEG}, a prototype-mediated framework that reformulates EEG--image alignment as soft composition over a shared learnable visual codebook. A trainable EEG encoder and a frozen visual teacher produce assignment distributions over the same $K=64$ prototypes. Their weighted reconstructions form a structured representation for retrieval and image generation. Prototype contrast supplies the main cross-modal training signal, distribution alignment coordinates codebook use across modalities, an instance anchor preserves fine-grained discrimination, and diversity regularization prevents redundant prototypes. The shared assignment profile also makes the learned bottleneck directly testable through prototype retention, random selection, and identity shuffling. Across five seeds, ProtoEEG reaches 64.0\% Top-1 and 91.5\% Top-5 on THINGS-EEG2 200-way retrieval. After retraining on EEG-ImageNet, it obtains 44.8\% Top-1 and 73.8\% Top-5 in 80-way retrieval. ProtoEEG also ranks first on all seven reconstruction metrics. Removing prototype contrast lowers Top-1 by 56.9 percentage points, while shuffling prototype identities reduces it to 0.5\%. Prototype analyses further show distributed assignments and broad codebook use rather than one-prototype routing. These results support structured alignment targets as a practical alternative to increasing encoder or teacher capacity alone.
- Abstract(参考訳): 脳波の視覚的復号化は、頭皮の録音がうるさく、空間的に粗く、試行錯誤や被験者によって変動するため、依然として困難である。
ほとんどのシステムは、それぞれのトライアルを濃密なイメージ埋め込みと整合させるが、埋め込みは、セマンティックコンテンツとインスタンス固有のテクスチャ、ポーズ、背景を混在させる。
このターゲットは、脳波を欠いた詳細を要求することができ、予測を支持する視覚的要因の明確な説明は提供しない。
本稿では,脳波画像のアライメントを,共有可能なビジュアルコードブック上でのソフトコンポジションとして再構成するプロトタイプベースのフレームワークである「textbf{ProtoEEG}」を提案する。
トレーニング可能なEEGエンコーダと凍結した視覚教師は同じK=64$のプロトタイプ上で割り当て分布を生成する。
重み付けされた再構成は、検索と画像生成のための構造化された表現を形成する。
プロトタイプコントラストは、主要なクロスモーダルトレーニング信号、分散アライメントコーディネート、コードブックがモダリティにまたがって使用するコーディネート、インスタンスアンカーはきめ細かな識別を保ち、多様性正規化は冗長なプロトタイプを阻止する。
共有された割り当てプロファイルは、学習されたボトルネックを、プロトタイプの保持、ランダム選択、アイデンティティシャッフルを通じて直接テスト可能にする。
5つの種にまたがって、ProtoEEGは64.0\% Top-1と91.5\% Top-5に到達し、THINGS-EEG2 200-way検索を行う。
EEG-ImageNet で再トレーニングした後、Top-1 44.8 %、Top-5 73.8 %を80ウェイ検索で取得した。
ProtoEEGは7つの再建指標の1位にランクインしている。
プロトタイプのコントラストを除去すると、Top-1は56.9%低下し、プロトタイプのアイデンティティをシャッフルすると0.5\%に低下する。
プロトタイプ解析は、分散代入と広範コードブックの使用をさらに示す。
これらの結果は、エンコーダや教師の能力の増大に代えて、構造的アライメントターゲットを実用的に支援する。
関連論文リスト
- From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model [32.83274424508216]
ラベル付きモデルや事前学習モデルなしで自己条件付き生成が可能な,共同生成型および自己教師型表現学習を単一モデルで研究する。
本稿では,フロータイムステップと埋め込みを条件とした単一ピクセル空間エンコーダであるSCIONを提案する。
表現学習では、この条件付埋め込みがイメージ自身の表現であり、パッチトークンはデコーダを通過してイメージを予測する。
論文 参考訳(メタデータ) (2026-10-05T02:51:03Z) - RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG [4.402959686940895]
In the Residual Patch Adapter (RPA) - ViTビジュアルエンコーダの中間層から全てのパッチトークンを利用してアライメントを行う軽量モジュール型アダプタ。
脳波のアライメントにはパッチトークンの完全なセットを保持することが重要ですが、CLSトークンはほとんどユニークな情報を提供していません。
現在のプロトコルでは、トップ1の精度は95.4%、クロスオブジェクトの35.5%であり、それぞれ65.2%と6.7%である。
論文 参考訳(メタデータ) (2026-09-19T01:40:00Z) - SCORE: Subject Coordinate Recovery for Label-Free Cross-Subject EEG-to-Image Retrieval [11.943434510766949]
現在のEEG-to-image検索手法は,ラベル付きキャリブレーションのない新規ユーザに対して,内部オブジェクトよりもはるかに低い精度で動作している。
本稿では、リカバリ対応ソーストレーニングとデプロイメント時の座標調整を組み合わせた、ターゲットラベルのないフレームワークSCOREを提案する。
論文 参考訳(メタデータ) (2026-08-19T17:27:29Z) - CognitionCapturerPro: Towards High-Fidelity Visual Decoding from EEG/MEG via Multi-modal Information and Asymmetric Alignment [45.97387848059231]
我々は,脳波とマルチモーダル前処理を統合する拡張フレームワークであるCognitionCapturerProを提案する。
私たちのコアコントリビューションには、モダリティ固有の忠実度を定量化する不確実性重み付き類似度スコアリング機構が含まれています。
本手法は,THINGS-EEGデータセットにおいて,元のCognitionCapturerよりも優れていた。
論文 参考訳(メタデータ) (2026-03-13T07:09:57Z) - SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation [51.48871964840347]
SCOPE (Scene-conised Prototype Enrichment) は、プラグ&プレイの背景誘導型プロトタイプエンリッチメントフレームワークである。
プロトタイプベースの3Dセグメンテーション手法と統合されている。
新規クラスのIoUを6.98%、IoUを3.61%、IoUを2.25%、IoUを1.70%向上させる。
論文 参考訳(メタデータ) (2026-03-06T18:59:36Z) - Proto-Former: Unified Facial Landmark Detection by Prototype Transformer [77.47431726595111]
Proto-Formerは、統一的で適応的でエンドツーエンドの顔ランドマーク検出フレームワークである。
統一されたアーキテクチャ内で、複数のデータセットをまたいだ共同トレーニングを可能にする。
Proto-Formerは、既存の最先端手法よりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2025-10-17T06:00:25Z) - NeuroGaze-Distill: Brain-informed Distillation and Depression-Inspired Geometric Priors for Robust Facial Emotion Recognition [15.318171395502917]
NeuroGaze-Distillは、脳にインフォームされた事前情報を画像のみのFER学生に転送するクロスモーダル蒸留フレームワークである。
DREAMERからEEG地形図を訓練した教師は、統合された5x5 V/Aプロトタイプグリッドを生成する。
この学生は、従来のCE/KDと2つの軽量正規化器でFERPlusを訓練している。
論文 参考訳(メタデータ) (2025-09-15T13:33:54Z) - Beyond the Prototype: Divide-and-conquer Proxies for Few-shot
Segmentation [63.910211095033596]
少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。
分割・分散の精神において, 単純かつ多目的な枠組みを提案する。
提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
論文 参考訳(メタデータ) (2022-04-21T06:21:14Z) - mc-BEiT: Multi-choice Discretization for Image BERT Pre-training [52.04866462439979]
Image BERT pre-training with masked image modeling (MIM)は、自己教師付き表現学習に対処する一般的な実践である。
改良されたBERTスタイルの画像事前学習手法であるmc-BEiTを導入する。
論文 参考訳(メタデータ) (2022-03-29T09:08:18Z) - SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive
Background Prototypes [56.387647750094466]
Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。
先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。
このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
論文 参考訳(メタデータ) (2021-04-19T11:21:47Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳(メタデータ) (2021-04-19T08:46:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。