論文の概要: Event-SAMA: Language-Grounded Video Object Segmentation on Neuromorphic Event Streams

• arxiv url: http://arxiv.org/abs/2610.39676v1
• Date: Thu, 29 Oct 2026 09:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.484936
• Title: Event-SAMA: Language-Grounded Video Object Segmentation on Neuromorphic Event Streams
• Title（参考訳）: Event-SAMA:ニューロモルフィックイベントストリーム上の言語周囲のビデオオブジェクトセグメンテーション
• Abstract要約: Event-SAMA-239KはSAMA-239Kグラウンドドビデオチャットコーパスの合成イベント変換である。 また,事前学習したRGB重みから初期化した2チャネル極性パッチを組み込んだSAMA-4Bを適用したEvent-SAMAも導入した。 24.37 $mathcalJ&mathcalF$ on MeViS valid_u と 22.33 $mathcalJ&mathcalF$ on the converted ReVOS valid subset。
• 参考スコア（独自算出の注目度）: 17.67608560980322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Event cameras offer microsecond temporal resolution, high dynamic range and no motion blur, but referring video object segmentation (RVOS) lacks event-stream datasets and models. We introduce Event-SAMA-239K, a synthetic-event conversion of the SAMA-239K grounded video-chat corpus and all additional SAMA training data: 30,650 video clips and 392,162 images. Optical-flow, FILM or saccade upsampling followed by a linear event generator preserves all mask, referring-expression and dialogue annotations. We also introduce Event-SAMA, adapting SAMA-4B with a two-channel polarity patch embedding initialised from pretrained RGB weights and a zero-initialised event adapter. End-to-end training yields 24.37 $\mathcal{J}\&\mathcal{F}$ on MeViS valid_u and 22.33 $\mathcal{J}\&\mathcal{F}$ on the converted ReVOS valid subset, establishing the first event-native RVOS baseline (RGB SAMA-4B: 55.4 on MeViS). Frozen RGB SAMA-4B with pseudo-RGB renderings or E2VID reconstructions of the same events scores 13.23 and 15.94 $\mathcal{J}\&\mathcal{F}$. Without retraining, Event-SAMA works on real event-camera recordings when the accumulation window matches their event density. A seed-controlled ablation with a measured noise floor of 0.47 $\mathcal{J}\&\mathcal{F}$ finds gains from diverse training sources over MeViS alone (+4.99), RGB-mean event-stem initialisation (+4.33), and a trainable SAM2 mask decoder (+2.76); the event adapter, partial ViT unfreezing and event polarity are within noise at this budget. An earlier, partially converted corpus snapshot trained with the identical recipe scores 1.38 $\mathcal{J}\&\mathcal{F}$ higher on MeViS and 1.12 higher on ReVOS. Both are single runs that also differ in schedule length, so we draw no conclusion about corpus scale.
• Abstract（参考訳）: イベントカメラは、マイクロ秒の時間分解能、高いダイナミックレンジ、動きのぼけがないが、ビデオオブジェクトセグメンテーション(RVOS)にはイベントストリームのデータセットとモデルがない。 我々は,SAMA-239K接地型ビデオチャットコーパスと追加のSAMAトレーニングデータである30,650本のビデオクリップと392,162枚の画像の合成イベント変換であるEvent-SAMA-239Kを紹介する。 光フロー、FILM、ササードアップサンプリングに続いて、リニアイベントジェネレータはすべてのマスク、参照表現、対話アノテーションを保存する。 また、事前訓練されたRGB重みから初期化した2チャネル極性パッチとゼロ初期化イベントアダプタを組み込んだSAMA-4Bを適用したEvent-SAMAも導入する。 24.37 $\mathcal{J}\&\mathcal{F}$ on MeViS valid_u と 22.33 $\mathcal{J}\&\mathcal{F}$ on the converted ReVOS valid subset は、最初のイベントネイティブRVOSベースライン(RGB SAMA-4B:55.4 on MeViS)を確立する。 同じイベントの擬似RGBレンダリングやE2VID再構成を備えた冷凍RGB SAMA-4Bは、13.23と15.94$\mathcal{J}\&\mathcal{F}$である。 再トレーニングなしで、Event-SAMAは、蓄積ウィンドウがイベント密度と一致する場合に、実際のイベントカメラ記録で動作する。 0.47$\mathcal{J}\&\mathcal{F}$のシード制御アブレーションは、MeViS単独で(+4.99)、RGB平均イベントスタンプ初期化(+4.33)、トレーニング可能なSAM2マスクデコーダ(+2.76)、イベントアダプタ、部分ViT凍結、イベント極性などの様々なトレーニングソースから得られる利得を求める。 以前の部分的に変換されたコーパススナップショットは、MeViSでは1.38$\mathcal{J}\&\mathcal{F}$高、ReVOSでは1.12高のスコアでトレーニングされた。 どちらもスケジュール長が異なるシングルランなので、コーパススケールに関する結論は出ません。

関連論文リスト

• Rate as a Feature, Not a Nuisance: Curriculum FiLM Training for Event-Based Graph Neural Networks [4.440305753099884]
  機能ワイド線形変調により,PointNet++のバックボーンのすべてのステージを変調する記録単位のログレートスカラーを導入する。 N-Caltech101では2段階のカリキュラムが67.2%に達している。 一致容量制御実験により、利得はモデル容量の増加によるものではなく、レート条件によるものであることが示された。
  論文  参考訳（メタデータ） (2026-10-17T19:13:11Z)
• EVIS: A Physics-Grounded Event Camera Plugin for NVIDIA Isaac Sim [3.3900431852643114]
  EVIS:NVIDIA Isaac Sim用の物理地上イベントカメラプラグイン。 物理シミュレータ内で直接、ハイレートで完全にラベル付けされたイベントストリームを生成する。 生成されたストリームは、ダウンストリームタスクのための事前トレーニングされたイベントネットワークによって直接使用することができる。
  論文  参考訳（メタデータ） (2026-07-09T04:13:31Z)
• Fast Feature Field ($\text{F}^3$): A Predictive Representation of Events [44.66523196882289]
  本稿では,イベントベースカメラからのデータ表現を構築するための数学的議論とアルゴリズムを開発する。 我々は、過去の出来事から将来の出来事を予測することでこの表現を学び、シーン構造と動き情報を保存することを示す。
  論文  参考訳（メタデータ） (2025-09-29T17:52:31Z)
• Event Stream based Human Action Recognition: A High-Definition Benchmark Dataset and Algorithms [29.577583619354314]
  本稿では,CeleX-Vイベントカメラを用いた大規模かつ高精細度(1280×800ドル)の人間行動認識データセットを提案する。 より包括的なベンチマークデータセットを構築するために、今後比較する作業のために、20以上の主流なHARモデルを報告します。
  論文  参考訳（メタデータ） (2024-08-19T07:52:20Z)
• 2nd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation [8.858448849921832]
  インスタンスセグメンテーションを使用して、MOSEの有効およびテストセットから追加の事前学習データを生成する。 セグメント化されたインスタンスは、COCOから抽出されたオブジェクトと組み合わせて、トレーニングデータを増強し、ベースラインモデルのセマンティック表現を強化する。 PVUW 2024のMOSEトラックでは,$mathcalJ$が0.8007,$mathcalF$が0.8683,$mathcalJ$&$mathcalF$が0.8345であった。
  論文  参考訳（メタデータ） (2024-06-12T13:21:33Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。