Fugu-MT 論文翻訳(概要): The MABe22 Benchmarks for Representation Learning of Multi-Agent Behavior

論文の概要: The MABe22 Benchmarks for Representation Learning of Multi-Agent Behavior

arxiv url: http://arxiv.org/abs/2207.10553v1
Date: Thu, 21 Jul 2022 15:51:30 GMT
ステータス: 処理完了
システム内更新日: 2022-07-22 12:22:49.308251
Title: The MABe22 Benchmarks for Representation Learning of Multi-Agent Behavior
Title（参考訳）: マルチエージェント動作の表現学習のためのMABe22ベンチマーク
Authors: Jennifer J. Sun, Andrew Ulmer, Dipam Chakraborty, Brian Geuther, Edward Hayes, Heng Jia, Vivek Kumar, Zachary Partridge, Alice Robie, Catherine E. Schretter, Chao Sun, Keith Sheppard, Param Uttarwar, Pietro Perona, Yisong Yue, Kristin Branson, Ann Kennedy
Abstract要約: 実世界の行動神経科学実験から大規模・多エージェント軌道データセットを導入する。我々のデータセットは、一般的なモデル生物の軌道データからなり、960万フレームのマウスデータと440万フレームのフライデータで構成されています。
参考スコア（独自算出の注目度）: 30.709188251043646
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Real-world behavior is often shaped by complex interactions between multiple agents. To scalably study multi-agent behavior, advances in unsupervised and self-supervised learning have enabled a variety of different behavioral representations to be learned from trajectory data. To date, there does not exist a unified set of benchmarks that can enable comparing methods quantitatively and systematically across a broad set of behavior analysis settings. We aim to address this by introducing a large-scale, multi-agent trajectory dataset from real-world behavioral neuroscience experiments that covers a range of behavior analysis tasks. Our dataset consists of trajectory data from common model organisms, with 9.6 million frames of mouse data and 4.4 million frames of fly data, in a variety of experimental settings, such as different strains, lengths of interaction, and optogenetic stimulation. A subset of the frames also consist of expert-annotated behavior labels. Improvements on our dataset corresponds to behavioral representations that work across multiple organisms and is able to capture differences for common behavior analysis tasks.
Abstract（参考訳）: 実世界の行動は、しばしば複数のエージェント間の複雑な相互作用によって形成される。マルチエージェントの振る舞いを十分に研究するために、教師なしおよび自己教師付き学習の進歩は、様々な行動表現を軌跡データから学べるようにした。これまでのところ、さまざまな行動分析設定で定量的かつ体系的にメソッドを比較することができる、統一されたベンチマークのセットは存在しない。本研究の目的は、行動分析タスクをカバーする実世界の行動神経科学実験から、大規模でマルチエージェントな軌道データセットを導入することである。私たちのデータセットは、共通のモデル生物の軌道データで構成されており、960万フレームのマウスデータと440万フレームのフライデータがあります。フレームのサブセットはエキスパートアノテートされた振る舞いラベルも含む。我々のデータセットの改善は、複数の生物にまたがる行動表現に対応し、共通の行動分析タスクの違いを捉えることができる。

関連論文リスト

GPT-4o: Visual perception performance of multimodal large language models in piglet activity understanding [2.79453284883108]
本研究では,動物行動認識における多モーダル大言語モデルの視覚知覚能力について検討した。その結果,現在のマルチモーダルLLMでは意味的対応や時間知覚の改善が求められているが,動物行動認識の視覚的認識能力が実証された。
論文参考訳（メタデータ） (2024-06-14T07:30:26Z)
AnimalFormer: Multimodal Vision Framework for Behavior-based Precision Livestock Farming [0.0]
精密畜産のためのマルチモーダルビジョン・フレームワークを提案する。我々は、GroundingDINO、HQSAM、ViTPoseモデルのパワーを利用する。このスイートは、侵入的な動物タグ付けをすることなく、ビデオデータから包括的な行動分析を可能にする。
論文参考訳（メタデータ） (2024-06-14T04:42:44Z)
From Forest to Zoo: Great Ape Behavior Recognition with ChimpBehave [0.0]
ChimpBehaveは動物園で飼育されているチンパンジーの2時間以上のビデオ(約193,000フレーム)を特徴とする新しいデータセットだ。 ChimpBehaveは、アクション認識のためのバウンディングボックスやビヘイビアラベルに細心の注意を払ってアノテートする。我々は、最先端のCNNベースの行動認識モデルを用いてデータセットをベンチマークする。
論文参考訳（メタデータ） (2024-05-30T13:11:08Z)
CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
我々は、CinePileという新しいデータセットとベンチマークを提示する。包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
論文参考訳（メタデータ） (2024-05-14T17:59:02Z)
OmniMotionGPT: Animal Motion Generation with Limited Data [70.35662376853163]
最初のテキストアニマルモーションデータセットであるAnimalML3Dを紹介した。我々は,動物データに基づくヒトの動き生成ベースラインのトレーニング結果よりも定量的かつ質的に,高い多様性と忠実さで動物の動きを生成することができる。
論文参考訳（メタデータ） (2023-11-30T07:14:00Z)
Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文参考訳（メタデータ） (2022-09-26T01:30:43Z)
Animal Kingdom: A Large and Diverse Dataset for Animal Behavior Understanding [4.606145900630665]
大規模で多様なデータセットであるAnimal Kingdomを作成し、複数の注釈付きタスクを提供します。私たちのデータセットには、関連する動物行動セグメントをローカライズする50時間のアノテーション付きビデオが含まれています。本研究では,未確認新種動物を用いた行動認識の一般的な特徴と特定の特徴を学習する協調行動認識(CARe)モデルを提案する。
論文参考訳（メタデータ） (2022-04-18T02:05:15Z)
PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
論文参考訳（メタデータ） (2021-12-01T19:49:57Z)
HighlightMe: Detecting Highlights from Human-Centric Videos [52.84233165201391]
我々は,人間中心のビデオからハイライト可能な抜粋を検出するために,ドメインとユーザに依存しないアプローチを提案する。本研究では,時空間グラフ畳み込みを用いたオートエンコーダネットワークを用いて,人間の活動やインタラクションを検出する。我々は,最先端の手法に比べて,人手によるハイライトのマッチングの平均精度が4～12%向上したことを観察した。
論文参考訳（メタデータ） (2021-10-05T01:18:15Z)
The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions [39.265388879471686]
行動神経科学のマルチエージェントデータセットであるCaltech Mouse Social Interactions(CalMS21)データセットを紹介します。私たちのデータセットは、自由に行動できるマウスのビデオから記録された、社会的相互作用の軌跡データから成り立っている。 calms21データセットは、マルチエージェントビヘイビアチャレンジ2021の一部であり、私たちの次のステップは、マルチエージェントビヘイビアを研究する他のドメインからのデータセットを組み込むことです。
論文参考訳（メタデータ） (2021-04-06T17:58:47Z)
Comprehensive Instructional Video Analysis: The COIN Dataset and Performance Evaluation [100.68317848808327]
包括的インストラクショナルビデオ解析のための大規模データセット「COIN」を提案する。 COINデータセットには、日々の生活に関連する12の領域で180のタスクの11,827の動画が含まれている。新しい開発ツールボックスでは、すべてのビデオに一連のステップラベルと対応する時間境界がアノテートされる。
論文参考訳（メタデータ） (2020-03-20T16:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。