論文の概要: Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation

• arxiv url: http://arxiv.org/abs/2504.11949v1
• Date: Wed, 16 Apr 2025 10:25:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:39:32.603131
• Title: Flow Intelligence: Robust Feature Matching via Temporal Signature Correlation
• Title（参考訳）: フローインテリジェンス:時間信号相関によるロバスト特徴マッチング
• Authors: Jie Wang, Chen Ye Gan, Caoqi Wei, Jiangtao Wen, Yuxing Han,
• Abstract要約: フローインテリジェンス(Flow Intelligence)は、時間的動きのパターンのみに焦点を当てたパラダイムシフトのアプローチである。 本手法は,連続するフレームにまたがる画素ブロックから動きのシグネチャを抽出し,ビデオ間の時間的動きのシグネチャを抽出する。 外観よりも動きを活用することで、フローインテリジェンスは多様な環境で堅牢でリアルタイムなビデオ特徴マッチングを可能にする。
• 参考スコア（独自算出の注目度）: 12.239059174851654
• License:
• Abstract: Feature matching across video streams remains a cornerstone challenge in computer vision. Increasingly, robust multimodal matching has garnered interest in robotics, surveillance, remote sensing, and medical imaging. While traditional rely on detecting and matching spatial features, they break down when faced with noisy, misaligned, or cross-modal data. Recent deep learning methods have improved robustness through learned representations, but remain constrained by their dependence on extensive training data and computational demands. We present Flow Intelligence, a paradigm-shifting approach that moves beyond spatial features by focusing on temporal motion patterns exclusively. Instead of detecting traditional keypoints, our method extracts motion signatures from pixel blocks across consecutive frames and extract temporal motion signatures between videos. These motion-based descriptors achieve natural invariance to translation, rotation, and scale variations while remaining robust across different imaging modalities. This novel approach also requires no pretraining data, eliminates the need for spatial feature detection, enables cross-modal matching using only temporal motion, and it outperforms existing methods in challenging scenarios where traditional approaches fail. By leveraging motion rather than appearance, Flow Intelligence enables robust, real-time video feature matching in diverse environments.
• Abstract（参考訳）: ビデオストリーム間での機能マッチングは、コンピュータビジョンにおける画期的な課題だ。 堅牢なマルチモーダルマッチングは、ロボティクス、監視、リモートセンシング、医療画像への関心が高まっている。 従来の手法では、空間的特徴の検出とマッチングに頼っていたが、ノイズや不一致、あるいはクロスモーダルなデータに直面すると故障する。 近年のディープラーニング手法は, 学習表現による堅牢性の向上を図っているが, 広範囲な学習データや計算要求に依存しているため, 制約が続いている。 本稿では,時間的動きのパターンのみに着目し,空間的特徴を超えるパラダイムシフトアプローチであるフローインテリジェンスを紹介する。 従来のキーポイントを検出する代わりに,連続するフレームにまたがる画素ブロックから動きシグネチャを抽出し,ビデオ間の時間的動きシグネチャを抽出する。 これらの動きに基づく記述子は、様々な画像のモダリティにわたって頑健でありながら、翻訳、回転、スケールの変動に対して自然な不変性を達成する。 この新しいアプローチでは、事前トレーニングデータも必要とせず、空間的特徴検出の必要性を排除し、時間的動きのみを使用してモーダル間マッチングを可能にし、従来のアプローチが失敗する挑戦的なシナリオにおいて、既存の手法よりも優れています。 外観よりも動きを活用することで、フローインテリジェンスは多様な環境で堅牢でリアルタイムなビデオ特徴マッチングを可能にする。

関連論文リスト

• Continual Learning of Conjugated Visual Representations through Higher-order Motion Flows [21.17248975377718]
  ニューラルネットワークによる学習は、データの非i.d.な性質のため、いくつかの課題を提示している。 また、情報の流れに整合した表現を開発する新しい機会を提供する。 本稿では,複数動作による制約を受ける画素ワイド特徴の教師なし連続学習の事例について検討する。
  論文  参考訳（メタデータ） (2024-09-16T19:08:32Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild [19.5702895176141]
  本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。 我々はCNNを用いて各フレームを視覚的特徴系列に変換する。 実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
  論文  参考訳（メタデータ） (2022-05-10T08:47:15Z)
• Real-time Controllable Motion Transition for Characters [14.88407656218885]
  リアルタイムの動作生成はゲームでは普遍的に必要であり、既存のアニメーションパイプラインでは非常に望ましい。 我々のアプローチは、運動多様体と条件遷移という2つの重要な構成要素から構成される。 提案手法は,複数の測定基準の下で測定された高品質な動きを生成できることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:02:54Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Video Salient Object Detection via Contrastive Features and Attention Modules [106.33219760012048]
  本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。 コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。 提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-03T17:40:32Z)
• Spatiotemporal Inconsistency Learning for DeepFake Video Detection [51.747219106855624]
  本稿では,水平方向と垂直方向の両方で隣接するフレーム間の時間差を利用して,TIMにおける新しい時間的モデリングパラダイムを提案する。 ISMは、SIMからの空間情報とTIMからの時間情報とを同時に利用し、より包括的な時空間表現を確立する。
  論文  参考訳（メタデータ） (2021-09-04T13:05:37Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。