論文の概要: MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations
of Behavior
- arxiv url: http://arxiv.org/abs/2207.10553v2
- Date: Fri, 30 Jun 2023 22:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 15:58:09.830803
- Title: MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations
of Behavior
- Title(参考訳): MABe22: 学習された行動表現のためのマルチタスクベンチマーク
- Authors: Jennifer J. Sun, Markus Marks, Andrew Ulmer, Dipam Chakraborty, Brian
Geuther, Edward Hayes, Heng Jia, Vivek Kumar, Sebastian Oleszko, Zachary
Partridge, Milan Peelman, Alice Robie, Catherine E. Schretter, Keith
Sheppard, Chao Sun, Param Uttarwar, Julian M. Wagner, Eric Werner, Joseph
Parker, Pietro Perona, Yisong Yue, Kristin Branson, Ann Kennedy
- Abstract要約: 学習行動表現の質を評価するベンチマークであるMABe22を紹介する。
このデータセットは様々な生物学実験から収集される。
我々は,自己教師付きビデオとトラジェクトリ表現学習法を試行し,ベンチマークの利用を実証した。
- 参考スコア(独自算出の注目度): 28.878568752724235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce MABe22, a large-scale, multi-agent video and trajectory
benchmark to assess the quality of learned behavior representations. This
dataset is collected from a variety of biology experiments, and includes
triplets of interacting mice (4.7 million frames video+pose tracking data, 10
million frames pose only), symbiotic beetle-ant interactions (10 million frames
video data), and groups of interacting flies (4.4 million frames of pose
tracking data). Accompanying these data, we introduce a panel of real-life
downstream analysis tasks to assess the quality of learned representations by
evaluating how well they preserve information about the experimental conditions
(e.g. strain, time of day, optogenetic stimulation) and animal behavior. We
test multiple state-of-the-art self-supervised video and trajectory
representation learning methods to demonstrate the use of our benchmark,
revealing that methods developed using human action datasets do not fully
translate to animal datasets. We hope that our benchmark and dataset encourage
a broader exploration of behavior representation learning methods across
species and settings.
- Abstract(参考訳): 我々は,学習行動表現の質を評価するための大規模マルチエージェントビデオおよびトラジェクトリベンチマークMABe22を紹介する。
このデータセットは様々な生物学実験から収集され、相互作用するマウス(470万フレームのビデオ+目的追跡データ、1000万フレームのみのポーズ)、共生する甲虫の相互作用(1000万フレームのビデオデータ)、相互作用するハエのグループ(440万フレームのポーズ追跡データ)を含む。
そこで本研究では,実験条件(ひずみ,日時,光刺激など)および動物の行動に関する情報の保存性を評価することにより,学習表現の質を評価するための,実生活下流分析タスクのパネルを紹介する。
複数の最先端の自己教師型ビデオとトラジェクトリ表現学習手法を試行し、我々のベンチマークの使用を実証し、人間の行動データセットを用いた手法が動物データセットに完全に翻訳されないことを示した。
当社のベンチマークとデータセットが,種や設定をまたがる行動表現学習方法の広範な探求を促進することを願っています。
関連論文リスト
- Automated Behavioral Analysis Using Instance Segmentation [2.043437148047176]
動物行動分析は、生命科学や生物医学研究など、様々な分野で重要な役割を果たしている。
利用可能なデータの不足とラベル付きデータセットの大量取得に伴う高コストが大きな課題となっている。
本稿では,これらの問題に対処するために,インスタンスセグメンテーションに基づくトランスファー学習を活用する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-12-12T20:36:36Z) - OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。
我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
論文 参考訳(メタデータ) (2023-11-30T07:14:00Z) - A benchmark for computational analysis of animal behavior, using
animal-borne tags [1.101378038375309]
動物由来のセンサー(バイオログ)は、運動と環境のデータ群を記録できる。
この領域で異なる機械学習技術を比較するための標準は存在しない。
本稿では,行動アノテーション,標準化されたモデリングタスク,評価指標を備えたデータセットの集合であるBio-logger Ethogram Benchmark(BEBE)を紹介する。
論文 参考訳(メタデータ) (2023-05-18T06:20:45Z) - Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。
本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。
本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文 参考訳(メタデータ) (2022-09-26T01:30:43Z) - Animal Kingdom: A Large and Diverse Dataset for Animal Behavior
Understanding [4.606145900630665]
大規模で多様なデータセットであるAnimal Kingdomを作成し、複数の注釈付きタスクを提供します。
私たちのデータセットには、関連する動物行動セグメントをローカライズする50時間のアノテーション付きビデオが含まれています。
本研究では,未確認新種動物を用いた行動認識の一般的な特徴と特定の特徴を学習する協調行動認識(CARe)モデルを提案する。
論文 参考訳(メタデータ) (2022-04-18T02:05:15Z) - SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。
我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
論文 参考訳(メタデータ) (2022-03-14T18:46:57Z) - PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。
PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。
モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文 参考訳(メタデータ) (2021-12-01T19:49:57Z) - HighlightMe: Detecting Highlights from Human-Centric Videos [62.265410865423]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。
本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。
我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4~12%向上したことを観察した。
論文 参考訳(メタデータ) (2021-10-05T01:18:15Z) - The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions [39.265388879471686]
行動神経科学のマルチエージェントデータセットであるCaltech Mouse Social Interactions(CalMS21)データセットを紹介します。
私たちのデータセットは、自由に行動できるマウスのビデオから記録された、社会的相互作用の軌跡データから成り立っている。
calms21データセットは、マルチエージェントビヘイビアチャレンジ2021の一部であり、私たちの次のステップは、マルチエージェントビヘイビアを研究する他のドメインからのデータセットを組み込むことです。
論文 参考訳(メタデータ) (2021-04-06T17:58:47Z) - Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。
マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。
本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
論文 参考訳(メタデータ) (2020-11-04T18:09:58Z) - Comprehensive Instructional Video Analysis: The COIN Dataset and
Performance Evaluation [100.68317848808327]
包括的インストラクショナルビデオ解析のための大規模データセット「COIN」を提案する。
COINデータセットには、日々の生活に関連する12の領域で180のタスクの11,827の動画が含まれている。
新しい開発ツールボックスでは、すべてのビデオに一連のステップラベルと対応する時間境界がアノテートされる。
論文 参考訳(メタデータ) (2020-03-20T16:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。