論文の概要: Beyond Tracking: Using Deep Learning to Discover Novel Interactions in
Biological Swarms
- arxiv url: http://arxiv.org/abs/2108.09394v1
- Date: Fri, 20 Aug 2021 22:50:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-24 15:23:05.352306
- Title: Beyond Tracking: Using Deep Learning to Discover Novel Interactions in
Biological Swarms
- Title(参考訳): beyond tracking: 生物群における新しい相互作用の発見にディープラーニングを使用する
- Authors: Taeyeong Choi, Benjamin Pyenson, Juergen Liebig, Theodore P. Pavlic
- Abstract要約: 本稿では,システムレベルの状態を全体像から直接予測するディープ・ネットワーク・モデルを提案する。
結果の予測モデルは、人間の理解した予測モデルに基づいていないため、説明モジュールを使用する。
これは、行動生態学における人工知能の例である。
- 参考スコア(独自算出の注目度): 3.441021278275805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most deep-learning frameworks for understanding biological swarms are
designed to fit perceptive models of group behavior to individual-level data
(e.g., spatial coordinates of identified features of individuals) that have
been separately gathered from video observations. Despite considerable advances
in automated tracking, these methods are still very expensive or unreliable
when tracking large numbers of animals simultaneously. Moreover, this approach
assumes that the human-chosen features include sufficient features to explain
important patterns in collective behavior. To address these issues, we propose
training deep network models to predict system-level states directly from
generic graphical features from the entire view, which can be relatively
inexpensive to gather in a completely automated fashion. Because the resulting
predictive models are not based on human-understood predictors, we use
explanatory modules (e.g., Grad-CAM) that combine information hidden in the
latent variables of the deep-network model with the video data itself to
communicate to a human observer which aspects of observed individual behaviors
are most informative in predicting group behavior. This represents an example
of augmented intelligence in behavioral ecology -- knowledge co-creation in a
human-AI team. As proof of concept, we utilize a 20-day video recording of a
colony of over 50 Harpegnathos saltator ants to showcase that, without any
individual annotations provided, a trained model can generate an "importance
map" across the video frames to highlight regions of important behaviors, such
as dueling (which the AI has no a priori knowledge of), that play a role in the
resolution of reproductive-hierarchy re-formation. Based on the empirical
results, we also discuss the potential use and current challenges.
- Abstract(参考訳): 生物群を理解するための多くのディープラーニングフレームワークは、ビデオ観察から別々に収集された個々のレベルのデータ(例えば、個人の特徴の空間座標)に集団行動の知覚モデルに適合するように設計されている。
自動追跡の大幅な進歩にもかかわらず、これらの方法は同時に多数の動物を追跡する際に、非常に高価または信頼性が低い。
さらに、このアプローチでは、集団行動における重要なパターンを説明するのに十分な特徴を含むヒューマン・チョーセンの特徴を仮定する。
これらの問題に対処するため,我々は,システムレベルの状態を全体から直接予測する深層ネットワークモデルのトレーニングを提案する。
結果の予測モデルは人間の理解した予測値に基づいていないため、深層ネットワークモデルの潜伏変数に隠された情報とビデオデータ自体を結合した説明モジュール(Grad-CAMなど)を用いて、観察された個々の行動の側面がグループ行動の予測に最も有益であるかを人間の観察者に伝える。
これは行動生態学における人工知能の例であり、人間-aiチームにおける知識の共創である。
概念実証として,50以上のハルペグナトス塩分アリのコロニーの20日間のビデオ記録を用いて,個々のアノテーションが提供されないと,訓練されたモデルがビデオフレーム全体に"importance map"を生成して,繁殖階層の再形成の解決に寄与するデュエル(aiには事前知識がない)などの重要な行動の領域を強調することができることを示した。
実験結果に基づいて, 潜在的な利用可能性と現状の課題について考察する。
関連論文リスト
- Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
我々は,ロボット探索を導くための視覚能力の学習手法を開発した。
VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。
本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2023-05-28T17:53:09Z) - Predicting long-term collective animal behavior with deep learning [67.06717327342473]
本研究は,魚種Hemigrammus rhodostomusにおける社会的相互作用の深層学習モデルを導入する。
実験結果と最先端解析モデルの結果を比較した。
我々は,ソーシャルインタラクションの機械学習モデルが,その分析モデルと直接競合できることを実証した。
論文 参考訳(メタデータ) (2023-02-14T05:25:03Z) - Palm up: Playing in the Latent Manifold for Unsupervised Pretraining [31.92145741769497]
本稿では,多種多様なデータセットを使用しながら探索行動を示すアルゴリズムを提案する。
私たちのキーとなるアイデアは、静的データセットに事前トレーニングされた深層生成モデルを活用し、潜在空間に動的モデルを導入することです。
次に、教師なし強化学習アルゴリズムを用いて、この環境を探索し、収集したデータに基づいて教師なし表現学習を行う。
論文 参考訳(メタデータ) (2022-10-19T22:26:12Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳(メタデータ) (2022-06-25T09:55:39Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳(メタデータ) (2021-04-08T20:01:00Z) - Model-agnostic Fits for Understanding Information Seeking Patterns in
Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。
ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。
これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文 参考訳(メタデータ) (2020-12-09T04:34:58Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z) - Unsupervised Gaze Prediction in Egocentric Videos by Energy-based
Surprise Modeling [6.294759639481189]
エゴセントリックな認識は、没入型コンピューティングデバイスの出現によって急速に成長してきた。
人間の視線予測は、自我中心の動画を分析する上で重要な問題である。
我々は,エゴセントリックな視線予測タスクにおいて,教師付き深層学習モデルの一般化能力を定量的に分析する。
論文 参考訳(メタデータ) (2020-01-30T21:52:38Z) - Deep learning reveals hidden interactions in complex systems [0.0]
AgentNetは、複雑なシステムに隠されたインタラクションを明らかにするために、ディープニューラルネットワークで構成されるモデルフリーのデータ駆動フレームワークである。
鳥の群れから得られた実証データにより、AgentNetは本物の鳥が提示する隠れた相互作用範囲を特定できることを示した。
論文 参考訳(メタデータ) (2020-01-03T02:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。