論文の概要: Hyper-RED: Scalable Event Pre-training via Semantic Hypergraph Distillation

• arxiv url: http://arxiv.org/abs/2609.16811v1
• Date: Tue, 15 Sep 2026 08:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.403687
• Title: Hyper-RED: Scalable Event Pre-training via Semantic Hypergraph Distillation
• Title（参考訳）: Hyper-RED: セマンティックハイパーグラフ蒸留によるスケーラブルなイベント事前トレーニング
• Abstract要約: 本稿では,画像からイベントへ高次セマンティック構造を伝達する,シンプルで痛みのない,スケーラブルな事前学習フレームワークを提案する。 Hyper-REDはハイパーグラフを使用して、複数の画像およびイベントトークン間の高次のセマンティックアソシエーションをモデル化し、アライメントする。 5つのイベントデータセットにわたる3つのタスクの実験は、ViT-SからViT-Lへの一貫したスケーリングと最先端のパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 68.90987453924909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras have shown great potential for robust visual perception, yet scaling event representation learning remains challenging due to the scarcity of large-scale annotated event data. Pretrained image models provide scalable semantic supervision, but existing image-to-event methods rely on rigid pixel-wise or token-wise alignment that overlooks modality discrepancies in texture, density, and appearance, potentially causing semantic collapse and limiting transferability. To address this issue, we propose Hyper-RED, a simple, painless, and scalable image-to-event pretraining framework that transfers high-order semantic structures from images to events. Hyper-RED uses hypergraphs to model and align high-order semantic associations among multiple image and event tokens, enabling cross-modal knowledge transfer while accommodating modality-specific differences rather than enforcing rigid one-to-one correspondence. Specifically, given a paired event--image sample, Hyper-RED leverages DINOv3 to extract spatial token representations and constructs image, event, and cross-modal semantic hypergraphs, where each hyperedge connects multiple semantically correlated tokens. We further introduce a hypergraph relational distillation loss that imposes complementary intra- and cross-modal constraints, enabling the event encoder to inherit image-derived semantic organization while preserving local relational consistency and event-specific characteristics. Experiments on three tasks across five event datasets demonstrate consistent scaling from ViT-S to ViT-L and state-of-the-art performance (Fig.1). The code is available at: https://github.com/meisenwang/Hyper--RED.
• Abstract（参考訳）: イベントカメラは、堅牢な視覚知覚の可能性を示しているが、大規模なアノテートされたイベントデータの不足により、イベント表現学習のスケールアップは依然として困難である。 事前訓練されたイメージモデルは、スケーラブルなセマンティックな監視を提供するが、既存のイメージ・ツー・イベントの手法は、テクスチャ、密度、外観におけるモダリティの相違を無視し、セマンティックな崩壊や転送可能性の制限を引き起こすような、厳密なピクセル単位またはトークン単位のアライメントに依存している。 この問題に対処するために,高次セマンティック構造を画像からイベントへ転送する,シンプルで痛みのない,スケーラブルなイメージツーイベント事前トレーニングフレームワークであるHyper-REDを提案する。 Hyper-REDはハイパーグラフを使用して複数の画像およびイベントトークン間の高階意味関連をモデル化・調整し、厳密な1対1の対応を強制するのではなく、モダリティ固有の違いを調整しながら、モダリティ間の知識伝達を可能にする。 具体的には、ペア化されたイベントイメージのサンプルが与えられた場合、Hyper-REDはDINOv3を利用して空間トークン表現を抽出し、画像、イベント、およびクロスモーダルなセマンティックハイパーグラフを構築する。 さらに,局所的なリレーショナル一貫性とイベント固有特性を保ちながら,イベントエンコーダが画像由来のセマンティックな組織を継承することを可能にするために,相補的内部制約とクロスモーダル制約を課すハイパーグラフリレーショナル蒸留損失を導入する。 5つのイベントデータセットにわたる3つのタスクの実験は、ViT-SからViT-Lへの一貫したスケーリングと最先端のパフォーマンスを示している(第1図)。 コードは、https://github.com/meisenwang/Hyper--RED.comで入手できる。

関連論文リスト

• Generative Event Pretraining with Foundation Model Alignment [25.86429472344715]
  イベントカメラは、高速な動きと難解な照明条件下で、堅牢な視覚信号を提供する。 ユニークなセンシング特性とラベル付きデータの制限により、イベントベースのビジュアルファンデーションモデルのトレーニングが困難になる。 GEP(Generative Event Pretraining)は,インターネット規模の画像データセットから学習したセマンティック知識をイベントデータに転送する2段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-03-24T10:10:34Z)
• Scaling Dense Event-Stream Pretraining from Visual Foundation Models [112.44243079477137]
  我々は,視覚基礎モデル(VFM)を蒸留して,イベント表現の境界を大規模に推し進める,新しい自己教師型事前学習手法をローンチする。 我々は、クロスモーダルアライメントを増幅するために、広範に同期された画像イベントコレクションをキュレートする。 VFMによって提供されるセマンティックな構造にアライメントの目的を拡張し、より広い受容領域とより強い監督力を示す。
  論文  参考訳（メタデータ） (2026-03-04T12:06:09Z)
• SGDiff: Scene Graph Guided Diffusion Model for Image Collaborative SegCaptioning [53.638998508418545]
  本稿では,画像の協調とキャプション'(セグキャプション)を新たに導入する。 SegCaptioningは、オブジェクトを囲むバウンディングボックスのような直接的なプロンプトを、(カプセル、マスク)ペアで表されるさまざまな意味解釈に変換することを目的としている。 このタスクは、ユーザの意図を最小限のプロンプトから正確に把握し、同時に複数の意味的に整列したキャプションワードとマスクを予測するなど、大きな課題を生じさせる。
  論文  参考訳（メタデータ） (2025-12-01T18:33:04Z)
• EvRainDrop: HyperGraph-guided Completion for Effective Frame and Event Stream Aggregation [13.258464981482788]
  イベントカメラは、空間的に疎いが時間的に密な非同期イベントストリームを生成する。 本稿では,異なる時刻と場所のトークンを接続するハイパーグラフ誘導イベントストリーム補完機構を提案する。 提案手法は,マルチモーダルなハイパーグラフ情報補完を実現するために,ハイパーグラフのノードとしてRGBトークンを柔軟に組み込むことができる。
  論文  参考訳（メタデータ） (2025-11-26T14:30:04Z)
• SoftHGNN: Soft Hypergraph Neural Networks for General Visual Recognition [19.88933136559363]
  ハイパーグラフは高次相互作用をモデル化することによって従来のグラフを拡張する。 既存のハイパーグラフニューラルネットワークは通常、静的およびハードなハイパーエッジ割り当てに依存している。 本稿では,ハイパーグラフ計算の方法論を拡張したソフトハイパーグラフニューラルネットワーク(SoftHGNN)を提案する。
  論文  参考訳（メタデータ） (2025-05-21T10:01:30Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• EventBind: Learning a Unified Representation to Bind Them All for Event-based Open-world Understanding [7.797154022794006]
  EventBindは、イベントベースの認識のためのビジョン言語モデル(VLM)の可能性を解き放つ新しいフレームワークである。 まず、イベントからの時間情報を微妙にモデル化する新しいイベントエンコーダを紹介する。 次に、コンテントプロンプトを生成し、ハイブリッドテキストプロンプトを利用してEventBindの一般化能力を向上するテキストエンコーダを設計する。
  論文  参考訳（メタデータ） (2023-08-06T15:05:42Z)
• Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence [88.00004819064672]
  Diffusion Hyperfeaturesは、マルチスケールおよびマルチタイムステップの機能マップをピクセル単位の機能記述子に統合するためのフレームワークである。 提案手法は,SPair-71k実画像ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-23T17:58:05Z)
• Event Camera Data Pre-training [14.77724035068357]
  我々のモデルは、自己教師付き学習フレームワークであり、ペア化されたイベントカメラデータと自然なRGBイメージをトレーニングに使用しています。 我々はN-ImageNetデータセットで64.83%でトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2023-01-05T06:32:50Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。