論文の概要: Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
- arxiv url: http://arxiv.org/abs/2608.22926v1
- Date: Mon, 24 Aug 2026 08:00:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 18:24:36.993622
- Title: Motion-Based Tokenization for Cross-Dataset Egocentric Gaze Modeling
- Title（参考訳）: クロスデータセット・エゴセントリック・ゲイズモデリングのためのモーションベーストークン化
- Abstract要約: イベントアライメント,固定水平角変位を解釈可能な事象条件運動語彙として定式化する。
我々は、事象のみ、空間的、絶対角、学習されたベクトル量子化、連続表現と比較する。
角運動トークンは1つの転送方向の凍結符号VQトークンよりも目標ドメインの後悔度が低いことを示す。
- 参考スコア（独自算出の注目度）: 13.408937731789814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaze is increasingly used as an input signal for vision and multimodal models, yet no consensus exists on how to represent it across datasets. Raw traces preserve detail but are noisy and device-dependent, while coarse event labels are easy to model but can discard local motion structure. We formulate event-aligned, fixed-horizon angular displacement as an interpretable, event-conditioned motion vocabulary and compare it with event-only, spatial, absolute-angle, learned vector-quantized, and continuous representations. To assess transfer alongside target predictability and token collapse, our evaluation combines next-token prediction with target-domain regret, low-order target references, paired bootstrap, order sensitivity, motif overlap, and frozen structural probes. In an event-aligned headset benchmark, angular-motion tokens have lower target-domain regret than frozen-codebook VQ tokens in one transfer direction, while the reverse direction is inconclusive. The probes reveal complementary representation properties, and event-only tokens show that low perplexity can retain little motion information. On a third egocentric dataset, a matched comparison of I-VT, native, and frame-span interfaces shows that event construction materially changes transfer: native events have the lowest regret into EGTEA, while frame-span events have zero motif overlap and fail severely as a source. Motion-based tokenization therefore provides a compact representation for event-aligned egocentric gaze streams, while the evaluation identifies how target predictability and event construction shape cross-dataset conclusions.
- Abstract（参考訳）: Gazeは、視覚とマルチモーダルモデルの入力信号としてますます使われているが、データセット間でどのように表現するかについては合意が得られていない。
粗いトレースは詳細を保存しているが、ノイズやデバイス依存であり、粗いイベントラベルはモデル化が容易であるが、局所的な動き構造を破棄することができる。
イベント整列, 固定水平角変位を解釈可能な, 事象条件の運動語彙として定式化し, 事象のみ, 空間的, 絶対角, 学習ベクトル量子化, 連続表現と比較する。
目標予測可能性とトークンの崩壊に伴う移動を評価するため,本評価では,次トーケン予測とターゲットドメインの後悔,低次目標基準,ペアブートストラップ,順序感度,モチーフオーバーラップ,凍結構造プローブを組み合わせて評価した。
イベント整列型ヘッドセットのベンチマークでは、角運動トークンは、一方の転送方向における冷凍コードブックVQトークンよりも目標ドメインの後悔度が低く、逆方向は不確定である。
プローブは相補的な表現特性を示し、イベントのみのトークンは、低いパープレキシティがほとんど動き情報を保持できないことを示す。
第3のエゴセントリックデータセットでは、I-VT、ネイティブ、フレームスパンインターフェースのマッチした比較によって、イベント構築が転送を根本的に変更することを示している。
したがって、モーションベースのトークン化は、目標予測可能性とイベント構築形状の相互データセットの結論の方法を明確にする一方、イベント整列型エゴセントリックなガゼストリームのコンパクトな表現を提供する。
関連論文リスト
- Hyper-RED: Scalable Event Pre-training via Semantic Hypergraph Distillation [68.90987453924909]
本稿では,画像からイベントへ高次セマンティック構造を伝達する,シンプルで痛みのない,スケーラブルな事前学習フレームワークを提案する。
Hyper-REDはハイパーグラフを使用して、複数の画像およびイベントトークン間の高次のセマンティックアソシエーションをモデル化し、アライメントする。
5つのイベントデータセットにわたる3つのタスクの実験は、ViT-SからViT-Lへの一貫したスケーリングと最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-09-15T08:17:37Z) - UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳（メタデータ） (2026-08-11T12:01:59Z) - GeoIMO: Geometry-Driven Independent Motion Classification for Event Cameras [37.09823149373976]
本稿では,検出されたオブジェクトをイベントストリームから直接エゴモーション構造を利用して静的あるいは独立に移動させる幾何学駆動型フレームワークを提案する。
MVSECとProphesee 1 Megapixel Automotive Detectionデータセットの実験は、さまざまな運転シナリオで一貫したパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-06-23T12:30:42Z) - A Held-Out Transition-Pair Falsifier for Long-Horizon Non-Abelian State Tracking [0.5076419064097734]
有限非アベリア群追跡のためのホールドアウト遷移ペアファルシファイアを導入する。
制御された$S_3 times S_3$ベンチマークでは、長さ8列のみに基づいてトレーニングされた投影されたリカレント状態モデルがエラーのない最終状態予測を生成する。
論文 参考訳（メタデータ） (2026-06-05T13:26:41Z) - Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Beyond BEV: Optimizing Point-Level Tokens for Collaborative Perception [17.654858416126093]
協調的知覚により、エージェントは中間的特徴を交換することで知覚能力を高めることができる。
既存の手法は通常、これらの中間機能を2D Bird's-eye-view (BEV)表現として整理する。
ポイントレベル最適化トークンを利用した新しい協調認識フレームワークであるCoPLOTを提案する。
論文 参考訳（メタデータ） (2025-08-27T07:27:42Z) - ZoRI: Towards Discriminative Zero-Shot Remote Sensing Instance Segmentation [23.40908829241552]
本稿では,訓練データに欠落した空中物体を特定することを目的とした,ゼロショットリモートセンシングインスタンスセグメンテーションという新しいタスクを提案する。
我々は,事前学習された視覚言語アライメントを維持するために,意味関連情報を分離する知識注入型適応戦略を導入する。
我々は,新しい実験プロトコルとベンチマークを構築し,ZoRIが最先端の性能を達成することを実証する広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-12-17T11:00:56Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。
本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。
提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
論文 参考訳（メタデータ） (2023-11-02T12:48:43Z) - Location-Aware Self-Supervised Transformers [74.76585889813207]
画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。
参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。
実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
論文 参考訳（メタデータ） (2022-12-05T16:24:29Z) - Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。
我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。
実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
論文 参考訳（メタデータ） (2022-05-03T17:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。