論文の概要: RipViz: Finding Rip Currents by Learning Pathline Behavior

• arxiv url: http://arxiv.org/abs/2302.12983v1
• Date: Sat, 25 Feb 2023 04:34:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 19:34:01.522975
• Title: RipViz: Finding Rip Currents by Learning Pathline Behavior
• Title（参考訳）: RipViz:パスライン行動学習によるリップ電流の検出
• Authors: Akila de Silva, Mona Zhao, Donald Stewart, Fahim Hasan Khan, Gregory Dusek, James Davis, and Alex Pang
• Abstract要約: RipVizは、ソースビデオ上のリップ位置の可視化を、シンプルで分かりやすいものにする。 我々はLSTMオートエンコーダを訓練し、通常の海、前景、背景運動からの経路配列を学習する。 このような異常な経路の起点は、ビデオの途中でリッピングゾーン内の点として提示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a hybrid machine learning and flow analysis feature detection method, RipViz, to extract rip currents from stationary videos. Rip currents are dangerous strong currents that can drag beachgoers out to sea. Most people are either unaware of them or do not know what they look like. In some instances, even trained personnel such as lifeguards have difficulty identifying them. RipViz produces a simple, easy to understand visualization of rip location overlaid on the source video. With RipViz, we first obtain an unsteady 2D vector field from the stationary video using optical flow. Movement at each pixel is analyzed over time. At each seed point, sequences of short pathlines, rather a single long pathline, are traced across the frames of the video to better capture the quasi-periodic flow behavior of wave activity. Because of the motion on the beach, the surf zone, and the surrounding areas, these pathlines may still appear very cluttered and incomprehensible. Furthermore, lay audiences are not familiar with pathlines and may not know how to interpret them. To address this, we treat rip currents as a flow anomaly in an otherwise normal flow. To learn about the normal flow behavior, we train an LSTM autoencoder with pathline sequences from normal ocean, foreground, and background movements. During test time, we use the trained LSTM autoencoder to detect anomalous pathlines (i.e., those in the rip zone). The origination points of such anomalous pathlines, over the course of the video, are then presented as points within the rip zone. RipViz is fully automated and does not require user input. Feedback from domain expert suggests that RipViz has the potential for wider use.
• Abstract（参考訳）: 本稿では,静止映像からリップ電流を抽出するハイブリッド機械学習・フロー解析機能検出手法RipVizを提案する。 リップ流は、海辺から海へと引きずり出す危険な強い潮流である。 ほとんどの人は自分に気づいていないか、自分が何に見えるか知らない。 例えば、ライフガードのような訓練を受けた人員でさえ、それらを特定するのに苦労している。 RipVizは、ソースビデオ上のリップ位置の可視化を、シンプルで分かりやすいものにする。 RipVizでは,光学的フローを用いて静止映像から非定常2次元ベクトル場を得る。 各ピクセルの動きは時間とともに分析される。 各シードポイントでは、単一の長いパスラインではなく短いパスラインのシーケンスがビデオのフレームを横切って追跡され、波の活動の準周期的流れの挙動をよりよく捉える。 海岸、サーフゾーン、および周辺地域の運動のため、これらの経路は非常に散らかっていて、理解できないように見える。 さらに、一般の聴衆はパスラインに精通しておらず、解釈の仕方を知らない場合もある。 これを解決するため,通常の流れにおけるリッピング電流を流れ異常として扱う。 通常の流れの挙動を学習するために,通常の海,前景,背景運動からの経路配列を持つLSTMオートエンコーダを訓練する。 テスト期間中、トレーニングされたLSTMオートエンコーダを使用して異常な経路(リッピングゾーン内のもの)を検出する。 このような異常な経路の起源は、ビデオの過程で、リップゾーン内のポイントとして提示される。 RipVizは完全に自動化されており、ユーザー入力を必要としない。 ドメインエキスパートからのフィードバックは、RipVizが広く使われる可能性があることを示唆している。

関連論文リスト

• Efficient Temporally-Aware DeepFake Detection using H.264 Motion Vectors [3.38055663003043]
  Video DeepFakesはDeep Learning(DL)で作成された偽のメディアで、人の表情やアイデンティティを操作する。 本稿では,DeepFakesにおける時間的不整合を検出するために,MV(Motion Vectors)とIM(Information Masks)を併用することを提案する。
  論文  参考訳（メタデータ） (2023-11-17T00:21:02Z)
• Learning Vision-and-Language Navigation from YouTube Videos [89.1919348607439]
  視覚言語ナビゲーション(VLN)は、自然言語命令を用いて現実的な3D環境をナビゲートするために、具体化されたエージェントを必要とする。 YouTubeには大量のハウスツアービデオがあり、豊富なナビゲーション体験とレイアウト情報を提供している。 住宅ツアービデオから合理的な経路指示ペアとエージェントを事前訓練した大規模データセットを作成する。
  論文  参考訳（メタデータ） (2023-07-22T05:26:50Z)
• DropMAE: Masked Autoencoders with Spatial-Attention Dropout for Tracking Tasks [76.24996889649744]
  Masked Autoencoder (MAE) Pretraining on video for matching-based downstream task, including visual object tracking (VOT) and video object segmentation (VOS) そこで我々は,映像における時間的対応学習を容易にするために,フレーム再構成において空間的アテンション・ドロップアウトを適応的に行うDropMAEを提案する。 本モデルは,9つの競争力のあるビデオ追跡とセグメンテーションデータセットのうち8つに,最先端のパフォーマンスを新たに設定する。
  論文  参考訳（メタデータ） (2023-04-02T16:40:42Z)
• Learning to Track Objects from Unlabeled Videos [63.149201681380305]
  本稿では,Unsupervised Single Object Tracker (USOT) をスクラッチから学習することを提案する。 教師なしトラッカーと教師なしトラッカーのギャップを狭めるために,3段階からなる効果的な教師なし学習手法を提案する。 実験の結果、未ラベルのビデオから得られたUSOTは、最先端の教師なしトラッカーよりも大きなマージンでうまく機能していることがわかった。
  論文  参考訳（メタデータ） (2021-08-28T22:10:06Z)
• Automated Rip Current Detection with Region based Convolutional Neural Networks [0.0]
  本稿では,波浪を伴うリッピング電流の自動同定のための機械学習手法を提案する。 我々は、Faster-RCNNとカスタム時間アグリゲーションステージを使用して、静止画像やビデオからの検出を、人間や他のリップ電流検出方法よりも高い精度で行う。
  論文  参考訳（メタデータ） (2021-02-04T21:39:49Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
  動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。 我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-09-22T11:39:19Z)
• Flow-edge Guided Video Completion [66.49077223104533]
  従来のフローコンプリート法は、しばしば運動境界のシャープさを維持することができない。 提案手法は,まず動きエッジを抽出し,その後,鋭いエッジで平滑な流れ完了を導出する。
  論文  参考訳（メタデータ） (2020-09-03T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。