論文の概要: MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior

• arxiv url: http://arxiv.org/abs/2207.10553v2
• Date: Fri, 30 Jun 2023 22:45:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 15:58:09.830803
• Title: MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior
• Title（参考訳）: MABe22: 学習された行動表現のためのマルチタスクベンチマーク
• Authors: Jennifer J. Sun, Markus Marks, Andrew Ulmer, Dipam Chakraborty, Brian Geuther, Edward Hayes, Heng Jia, Vivek Kumar, Sebastian Oleszko, Zachary Partridge, Milan Peelman, Alice Robie, Catherine E. Schretter, Keith Sheppard, Chao Sun, Param Uttarwar, Julian M. Wagner, Eric Werner, Joseph Parker, Pietro Perona, Yisong Yue, Kristin Branson, Ann Kennedy
• Abstract要約: 学習行動表現の質を評価するベンチマークであるMABe22を紹介する。 このデータセットは様々な生物学実験から収集される。 我々は,自己教師付きビデオとトラジェクトリ表現学習法を試行し,ベンチマークの利用を実証した。
• 参考スコア（独自算出の注目度）: 28.878568752724235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MABe22, a large-scale, multi-agent video and trajectory benchmark to assess the quality of learned behavior representations. This dataset is collected from a variety of biology experiments, and includes triplets of interacting mice (4.7 million frames video+pose tracking data, 10 million frames pose only), symbiotic beetle-ant interactions (10 million frames video data), and groups of interacting flies (4.4 million frames of pose tracking data). Accompanying these data, we introduce a panel of real-life downstream analysis tasks to assess the quality of learned representations by evaluating how well they preserve information about the experimental conditions (e.g. strain, time of day, optogenetic stimulation) and animal behavior. We test multiple state-of-the-art self-supervised video and trajectory representation learning methods to demonstrate the use of our benchmark, revealing that methods developed using human action datasets do not fully translate to animal datasets. We hope that our benchmark and dataset encourage a broader exploration of behavior representation learning methods across species and settings.
• Abstract（参考訳）: 我々は,学習行動表現の質を評価するための大規模マルチエージェントビデオおよびトラジェクトリベンチマークMABe22を紹介する。 このデータセットは様々な生物学実験から収集され、相互作用するマウス(470万フレームのビデオ+目的追跡データ、1000万フレームのみのポーズ)、共生する甲虫の相互作用(1000万フレームのビデオデータ)、相互作用するハエのグループ(440万フレームのポーズ追跡データ)を含む。 そこで本研究では,実験条件(ひずみ,日時,光刺激など)および動物の行動に関する情報の保存性を評価することにより,学習表現の質を評価するための,実生活下流分析タスクのパネルを紹介する。 複数の最先端の自己教師型ビデオとトラジェクトリ表現学習手法を試行し、我々のベンチマークの使用を実証し、人間の行動データセットを用いた手法が動物データセットに完全に翻訳されないことを示した。 当社のベンチマークとデータセットが,種や設定をまたがる行動表現学習方法の広範な探求を促進することを願っています。

関連論文リスト

• GPT-4o: Visual perception performance of multimodal large language models in piglet activity understanding [2.79453284883108]
  本研究では,動物行動認識における多モーダル大言語モデルの視覚知覚能力について検討した。 その結果,現在のマルチモーダルLLMでは意味的対応や時間知覚の改善が求められているが,動物行動認識の視覚的認識能力が実証された。
  論文  参考訳（メタデータ） (2024-06-14T07:30:26Z)
• AnimalFormer: Multimodal Vision Framework for Behavior-based Precision Livestock Farming [0.0]
  精密畜産のためのマルチモーダルビジョン・フレームワークを提案する。 我々は、GroundingDINO、HQSAM、ViTPoseモデルのパワーを利用する。 このスイートは、侵入的な動物タグ付けをすることなく、ビデオデータから包括的な行動分析を可能にする。
  論文  参考訳（メタデータ） (2024-06-14T04:42:44Z)
• From Forest to Zoo: Great Ape Behavior Recognition with ChimpBehave [0.0]
  ChimpBehaveは動物園で飼育されているチンパンジーの2時間以上のビデオ(約193,000フレーム)を特徴とする新しいデータセットだ。 ChimpBehaveは、アクション認識のためのバウンディングボックスやビヘイビアラベルに細心の注意を払ってアノテートする。 我々は、最先端のCNNベースの行動認識モデルを用いてデータセットをベンチマークする。
  論文  参考訳（メタデータ） (2024-05-30T13:11:08Z)
• CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
  我々は、CinePileという新しいデータセットとベンチマークを提示する。 包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。 トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
  論文  参考訳（メタデータ） (2024-05-14T17:59:02Z)
• OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
  最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。 我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
  論文  参考訳（メタデータ） (2023-11-30T07:14:00Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Animal Kingdom: A Large and Diverse Dataset for Animal Behavior Understanding [4.606145900630665]
  大規模で多様なデータセットであるAnimal Kingdomを作成し、複数の注釈付きタスクを提供します。 私たちのデータセットには、関連する動物行動セグメントをローカライズする50時間のアノテーション付きビデオが含まれています。 本研究では,未確認新種動物を用いた行動認識の一般的な特徴と特定の特徴を学習する協調行動認識(CARe)モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-18T02:05:15Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
  我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。 本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。 我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
  論文  参考訳（メタデータ） (2021-10-05T01:18:15Z)
• The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions [39.265388879471686]
  行動神経科学のマルチエージェントデータセットであるCaltech Mouse Social Interactions(CalMS21)データセットを紹介します。 私たちのデータセットは、自由に行動できるマウスのビデオから記録された、社会的相互作用の軌跡データから成り立っている。 calms21データセットは、マルチエージェントビヘイビアチャレンジ2021の一部であり、私たちの次のステップは、マルチエージェントビヘイビアを研究する他のドメインからのデータセットを組み込むことです。
  論文  参考訳（メタデータ） (2021-04-06T17:58:47Z)
• Comprehensive Instructional Video Analysis: The COIN Dataset and Performance Evaluation [100.68317848808327]
  包括的インストラクショナルビデオ解析のための大規模データセット「COIN」を提案する。 COINデータセットには、日々の生活に関連する12の領域で180のタスクの11,827の動画が含まれている。 新しい開発ツールボックスでは、すべてのビデオに一連のステップラベルと対応する時間境界がアノテートされる。
  論文  参考訳（メタデータ） (2020-03-20T16:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。