論文の概要: Multimodal Foundation Models for Zero-shot Animal Species Recognition in Camera Trap Images

• arxiv url: http://arxiv.org/abs/2311.01064v1
• Date: Thu, 2 Nov 2023 08:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 14:14:38.750998
• Title: Multimodal Foundation Models for Zero-shot Animal Species Recognition in Camera Trap Images
• Title（参考訳）: カメラトラップ画像におけるゼロショット動物種認識のためのマルチモーダル基礎モデル
• Authors: Zalan Fabian, Zhongqi Miao, Chunyuan Li, Yuanhan Zhang, Ziwei Liu, Andr\'es Hern\'andez, Andr\'es Montes-Rojas, Rafael Escucha, Laura Siabatto, Andr\'es Link, Pablo Arbel\'aez, Rahul Dodhia, Juan Lavista Ferres
• Abstract要約: モーションアクティベートカメラトラップは、世界中の野生生物を追跡・監視するための効率的なツールである。 教師付き学習技術は、そのような画像を分析するためにうまく展開されているが、そのような訓練には専門家のアノテーションが必要である。 コストのかかるラベル付きデータへの依存を減らすことは、人間の労働力を大幅に減らした大規模野生生物追跡ソリューションを開発する上で、大きな可能性を秘めている。
• 参考スコア（独自算出の注目度）: 57.96659470133514
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to deteriorating environmental conditions and increasing human activity, conservation efforts directed towards wildlife is crucial. Motion-activated camera traps constitute an efficient tool for tracking and monitoring wildlife populations across the globe. Supervised learning techniques have been successfully deployed to analyze such imagery, however training such techniques requires annotations from experts. Reducing the reliance on costly labelled data therefore has immense potential in developing large-scale wildlife tracking solutions with markedly less human labor. In this work we propose WildMatch, a novel zero-shot species classification framework that leverages multimodal foundation models. In particular, we instruction tune vision-language models to generate detailed visual descriptions of camera trap images using similar terminology to experts. Then, we match the generated caption to an external knowledge base of descriptions in order to determine the species in a zero-shot manner. We investigate techniques to build instruction tuning datasets for detailed animal description generation and propose a novel knowledge augmentation technique to enhance caption quality. We demonstrate the performance of WildMatch on a new camera trap dataset collected in the Magdalena Medio region of Colombia.
• Abstract（参考訳）: 環境条件の悪化と人的活動の増加により、野生生物に対する保全努力が不可欠である。 モーションアクティベートカメラトラップは、世界中の野生生物を追跡・監視するための効率的なツールである。 教師付き学習技術はそのような画像の分析に成功しているが、専門家のアノテーションを必要とする。 そのため、コストのかかるラベル付きデータへの依存を減らすことは、人間の労働力を大幅に減らした大規模野生生物追跡ソリューションを開発する大きな可能性を持つ。 本研究では,マルチモーダル基盤モデルを利用した新しいゼロショット種分類フレームワークWildMatchを提案する。 特に,視覚言語モデルに類似の用語を用いて,カメラトラップ画像の詳細な視覚記述を生成するよう指示する。 そして、生成したキャプションを記述の外部知識ベースと一致させ、ゼロショット方式で種を判別する。 詳細な動物記述生成のための命令チューニングデータセットの構築手法について検討し,キャプション品質を向上させるための新しい知識拡張手法を提案する。 コロンビアのマグダレーナ・メディオ地方で収集された新しいカメラトラップ・データセット上でのWildMatchの性能を実演する。

関連論文リスト

• MetaCap: Meta-learning Priors from Multi-View Imagery for Sparse-view Human Performance Capture and Rendering [91.76893697171117]
  そこで本研究では, 高精度かつ高品質な幾何復元と新規なビュー合成手法を提案する。 私たちのキーとなるアイデアは、低解像度のマルチビュービデオからのみ、放射界の重みをメタラーニングすることです。 新しいデータセットWildDynaCap(ワイルドダイナキャップ)は、密集したカメラドームと細いカメラリグの両方に収まる被写体を含んでいる。
  論文  参考訳（メタデータ） (2024-03-27T17:59:54Z)
• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Reviving the Context: Camera Trap Species Classification as Link Prediction on Multimodal Knowledge Graphs [31.22129440376567]
  カメラトラップ画像に関連付けられた構造化コンテキストを利用して,カメラトラップにおける種分類タスクの分布外一般化を促進する。 野生動物の写真は、捕獲された時間と場所の詳細と、動物種に関する構造化された生物学的知識に関連付けられる。 マルチモーダル知識グラフにおけるリンク予測として種分類を変換する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-31T23:32:03Z)
• Learning Subject-Aware Cropping by Outpainting Professional Photos [69.0772948657867]
  本稿では,高品質な主観的作物を生産する要因を,プロのストックイメージから学習するための弱教師付きアプローチを提案する。 私たちの洞察は、ストックイメージのライブラリと、最新のトレーニング済みのテキスト-画像拡散モデルを組み合わせることです。 我々は、収穫された無作為のトレーニングペアの大規模なデータセットを自動的に生成して、収穫モデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2023-12-19T11:57:54Z)
• Florida Wildlife Camera Trap Dataset [48.99466876948454]
  フロリダ州南西部の2つの異なる場所から収集された野生生物カメラトラップ分類データセットについて紹介する。 データセットは104,495枚の画像からなり、視覚的に類似した種、様々な照明条件、スキュードクラス分布、絶滅危惧種のサンプルを含む。
  論文  参考訳（メタデータ） (2021-06-23T18:53:15Z)
• Unifying data for fine-grained visual species classification [15.14767769034929]
  465種にまたがる2.9M画像に基づいて訓練した,初期の深部畳み込みニューラルネットワークモデルを提案する。 長期的な目標は、科学者が種数と人口の健康状態のほぼリアルタイムでの分析から、保護的なレコメンデーションを行うことである。
  論文  参考訳（メタデータ） (2020-09-24T01:04:18Z)
• WhoAmI: An Automatic Tool for Visual Recognition of Tiger and Leopard Individuals in the Wild [3.1708876837195157]
  我々は,動物を識別し,動物の種類を特定し,2種の個体を識別する自動アルゴリズムを開発した。 本研究では,南インドのジャングルに記録されたカメラトラップ画像のデータセットに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2020-06-17T16:17:46Z)
• Automatic Detection and Recognition of Individuals in Patterned Species [4.163860911052052]
  我々は,異なるパターンの個体の自動検出と認識のための枠組みを開発する。 我々は最近提案したFaster-RCNNオブジェクト検出フレームワークを用いて画像中の動物を効率的に検出する。 我々は,シマウマおよびジャガー画像の認識システムを評価し,他のパターンの種への一般化を示す。
  論文  参考訳（メタデータ） (2020-05-06T15:29:21Z)
• Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
  我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。