論文の概要: Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection

• arxiv url: http://arxiv.org/abs/2607.17625v1
• Date: Mon, 20 Jul 2026 07:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.535976
• Title: Brain-Aligned Multi-Stream Video Transformers with Sparse Self-Selection
• Title（参考訳）: 疎自己選択型ブレインアライメント多ストリームビデオ変換器
• Abstract要約: 生体視覚回路で観測される効率と近似的な競合経路を改善するために, 少ない入賞トークン選択モジュールを導入する。 本稿では,高分解能,低フレームレートの"What"ストリームと低解像度,高フレームレートの"where"ストリームの2つの相補経路を用いたニューロインスパイア・スプリット・アンド・フューズ・ビデオ・トランスフォーマを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video transformers typically ignore principles from primate vision and are rarely evaluated against neural data, limiting their biological interpretability. We introduce a sparse winner-takes-all token selection module that replaces dense self-attention to improve efficiency and approximate competitive routing observed in biological visual circuits. We further propose a neuro-inspired split-and-fuse video transformer which uses two complementary pathways: a high-resolution, low-frame-rate "what" stream and a low-resolution, high-frame-rate "where" stream, fused before classification. On Kinetics-400 and Something-Something V2, our best variant operates on the Pareto frontier of accuracy versus inference time among models of comparable scale and pretraining, and showing improved robustness to spatial perturbations. Using representational similarity analysis between model embeddings and time-resolved EEG recordings for the same video stimuli, our model attains a peak brain-model correlation of 0.18 (about 78% of the noise ceiling) and consistently outperforms strong video transformer baselines, suggesting that pathway specialization and sparse competition are useful inductive biases for efficient, brain-aligned video understanding.
• Abstract（参考訳）: 現代のビデオトランスフォーマーは一般的に霊長類の視覚の原理を無視し、神経データに対して評価されることがほとんどなく、生物学的解釈可能性を制限する。 生体視覚回路で観測される効率と近似的な競合ルーティングを改善するために、密集した自己アテンションを置き換える、スパースな入賞トークン選択モジュールを導入する。 さらに,高分解能,低フレームレートの"What"ストリームと低解像度,高フレームレートの"where"ストリームという2つの相補的経路を用いたニューロインスパイアされたスプリット・アンド・フューズビデオトランスを提案する。 Kinetics-400 と something-Something V2 では,空間摂動に対するロバスト性の向上が示された。 同じビデオ刺激に対するモデル埋め込みと時間分解脳波記録の表現的類似性分析を用いて、我々のモデルは0.18(ノイズ天井の約78%)のピーク脳モデル相関を達成し、強いビデオトランスフォーマーベースラインを一貫して上回り、経路の特殊化とスパース競争が、効率よく脳に沿うビデオ理解に有用な帰納バイアスとなることを示唆している。

関連論文リスト

• DuoFormer: Leveraging Hierarchical Representations by Local and Global Attention Vision Transformer [1.456352735394398]
  本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。 インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。 これらの表現は、革新的なパッチトークン化プロセスを通じてトランスフォーマー入力に適応し、継承されたマルチスケールの帰納バイアスを保存する。
  論文  参考訳（メタデータ） (2025-06-15T22:42:57Z)
• FullTransNet: Full Transformer with Local-Global Attention for Video Summarization [16.134118247239527]
  本稿では,ビデオ要約のためのFullTransNetというトランスフォーマー型アーキテクチャを提案する。 ビデオ要約の代替アーキテクチャとしてエンコーダ・デコーダ構造を持つフルトランスフォーマーを使用する。 本モデルでは, Fスコアが54.4%, 63.9%であり, 比較的低い計算量とメモリ要件を維持している。
  論文  参考訳（メタデータ） (2025-01-01T16:07:27Z)
• DeblurDiNAT: A Compact Model with Exceptional Generalization and Visual Fidelity on Unseen Domains [1.5124439914522694]
  DeDiNATはDilated Neighborhood Attentionに基づくデブロアリングトランスフォーマーである。 チャンネル横断学習者は、隣接するチャンネル間の短距離関係を理解するためにトランスフォーマーブロックを支援する。 最先端モデルと比較して、コンパクトなDeDiNATはより優れた一般化能力を示し、知覚的メトリクスにおいて顕著な性能を達成する。
  論文  参考訳（メタデータ） (2024-03-19T21:31:31Z)
• Dynamics Based Neural Encoding with Inter-Intra Region Connectivity [2.3825930751052358]
  本稿では,ビデオ刺激を用いた視覚野記録について,映像理解モデルの比較に焦点をあてた最初の大規模研究を提案する。 映像理解モデルが視覚野の反応を予測する方法について重要な知見を提供する。 本稿では,最高の映像理解モデル上に構築されたニューラルエンコーディング方式を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:29:49Z)
• Large-kernel Attention for Efficient and Robust Brain Lesion Segmentation [0.08694241595813026]
  本稿では,U-Netアーキテクチャの完全畳み込み型トランスフォーマーブロックを提案する。 我々のモデルは,最先端技術との競争,CNNのパラメータ効率,変圧器の帰納バイアスの3つの要因において,最大の妥協を提供する。
  論文  参考訳（メタデータ） (2023-08-14T16:38:13Z)
• Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition [112.66832145320434]
  Video-FocalNetは、ローカルなグローバルなコンテキストの両方をモデル化する、ビデオ認識のための効率的かつ効率的なアーキテクチャである。 Video-FocalNetは、自己注意の相互作用と集約のステップを反転させる時間的焦点変調アーキテクチャに基づいている。 我々は,5つの大規模データセット上での映像認識のための最先端のトランスフォーマーモデルに対して,Video-FocalNetsが好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-07-13T17:59:33Z)
• Dual-path Adaptation from Image to Video Transformers [62.056751480114784]
  ViTやSwinのような視覚基盤モデルの超越する表現力を、トレーニング可能なパラメータ数だけでビデオ理解するために効率的に転送する。 本稿では,空間的および時間的適応経路に分離した新しいDualPath適応法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T09:37:07Z)
• SVFormer: Semi-supervised Video Transformer for Action Recognition [88.52042032347173]
  SVFormerは、未ラベルの動画サンプルに対処するために、安定した擬似ラベルフレームワークを採用する。 さらに,ビデオの複雑な時間変動をカバーするための時間ゆらぎを提案する。 特にSVFormerは、Kinetics-400の1%のラベル付け率でトレーニングエポックを減らし、最先端の技術を31.5%上回っている。
  論文  参考訳（メタデータ） (2022-11-23T18:58:42Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Improving Neural Predictivity in the Visual Cortex with Gated Recurrent Connections [0.0]
  我々は,腹側視覚ストリームのユビキタスな特徴である横方向のリカレント接続を考慮したアーキテクチャに焦点を移し,適応的受容場を創出することを目指している。 本研究は,我々のアプローチの堅牢性と活性化の生物学的忠実性を高めるために,特定のデータ拡張技術を用いている。
  論文  参考訳（メタデータ） (2022-03-22T17:27:22Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
  ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。 我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
  論文  参考訳（メタデータ） (2021-06-17T02:30:26Z)
• Conformer: Convolution-augmented Transformer for Speech Recognition [60.119604551507805]
  最近、トランスフォーマーと畳み込みニューラルネットワーク(CNN)に基づくモデルが、自動音声認識(ASR)の有望な結果を示している。 音声認識のための畳み込み拡張変換器,Conformerを提案する。 広く使われているLibriSpeechベンチマークでは、言語モデルを用いずにWERが2.1%/4.3%、テスト/テストの外部言語モデルで1.9%/3.9%を達成した。
  論文  参考訳（メタデータ） (2020-05-16T20:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。