論文の概要: Beyond Tracking: Using Deep Learning to Discover Novel Interactions in Biological Swarms

• arxiv url: http://arxiv.org/abs/2108.09394v1
• Date: Fri, 20 Aug 2021 22:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-24 15:23:05.352306
• Title: Beyond Tracking: Using Deep Learning to Discover Novel Interactions in Biological Swarms
• Title（参考訳）: beyond tracking: 生物群における新しい相互作用の発見にディープラーニングを使用する
• Authors: Taeyeong Choi, Benjamin Pyenson, Juergen Liebig, Theodore P. Pavlic
• Abstract要約: 本稿では,システムレベルの状態を全体像から直接予測するディープ・ネットワーク・モデルを提案する。 結果の予測モデルは、人間の理解した予測モデルに基づいていないため、説明モジュールを使用する。 これは、行動生態学における人工知能の例である。
• 参考スコア（独自算出の注目度）: 3.441021278275805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most deep-learning frameworks for understanding biological swarms are designed to fit perceptive models of group behavior to individual-level data (e.g., spatial coordinates of identified features of individuals) that have been separately gathered from video observations. Despite considerable advances in automated tracking, these methods are still very expensive or unreliable when tracking large numbers of animals simultaneously. Moreover, this approach assumes that the human-chosen features include sufficient features to explain important patterns in collective behavior. To address these issues, we propose training deep network models to predict system-level states directly from generic graphical features from the entire view, which can be relatively inexpensive to gather in a completely automated fashion. Because the resulting predictive models are not based on human-understood predictors, we use explanatory modules (e.g., Grad-CAM) that combine information hidden in the latent variables of the deep-network model with the video data itself to communicate to a human observer which aspects of observed individual behaviors are most informative in predicting group behavior. This represents an example of augmented intelligence in behavioral ecology -- knowledge co-creation in a human-AI team. As proof of concept, we utilize a 20-day video recording of a colony of over 50 Harpegnathos saltator ants to showcase that, without any individual annotations provided, a trained model can generate an "importance map" across the video frames to highlight regions of important behaviors, such as dueling (which the AI has no a priori knowledge of), that play a role in the resolution of reproductive-hierarchy re-formation. Based on the empirical results, we also discuss the potential use and current challenges.
• Abstract（参考訳）: 生物群を理解するための多くのディープラーニングフレームワークは、ビデオ観察から別々に収集された個々のレベルのデータ(例えば、個人の特徴の空間座標)に集団行動の知覚モデルに適合するように設計されている。 自動追跡の大幅な進歩にもかかわらず、これらの方法は同時に多数の動物を追跡する際に、非常に高価または信頼性が低い。 さらに、このアプローチでは、集団行動における重要なパターンを説明するのに十分な特徴を含むヒューマン・チョーセンの特徴を仮定する。 これらの問題に対処するため,我々は,システムレベルの状態を全体から直接予測する深層ネットワークモデルのトレーニングを提案する。 結果の予測モデルは人間の理解した予測値に基づいていないため、深層ネットワークモデルの潜伏変数に隠された情報とビデオデータ自体を結合した説明モジュール(Grad-CAMなど)を用いて、観察された個々の行動の側面がグループ行動の予測に最も有益であるかを人間の観察者に伝える。 これは行動生態学における人工知能の例であり、人間-aiチームにおける知識の共創である。 概念実証として,50以上のハルペグナトス塩分アリのコロニーの20日間のビデオ記録を用いて,個々のアノテーションが提供されないと,訓練されたモデルがビデオフレーム全体に"importance map"を生成して,繁殖階層の再形成の解決に寄与するデュエル(aiには事前知識がない)などの重要な行動の領域を強調することができることを示した。 実験結果に基づいて, 潜在的な利用可能性と現状の課題について考察する。

関連論文リスト

• Unified Dynamic Scanpath Predictors Outperform Individually Trained Neural Models [18.327960366321655]
  本研究では,ビデオ中のスキャンパスを予測するために,ディープラーニングに基づくソーシャルキュー統合モデルを構築した。 我々は,自由視聴条件下で観察された動的な社会シーンの視線に対するアプローチを評価した。 結果は、すべての観察者のスキャンパスに基づいて訓練された単一の統一モデルが、個別に訓練されたモデルよりも同等以上のパフォーマンスを示すことを示している。
  論文  参考訳（メタデータ） (2024-05-05T13:15:11Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Generating Human-Centric Visual Cues for Human-Object Interaction Detection via Large Vision-Language Models [59.611697856666304]
  人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。 我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。 我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
  我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。 本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-28T17:53:09Z)
• Predicting the long-term collective behaviour of fish pairs with deep learning [52.83927369492564]
  本研究では,魚種Hemigrammus rhodostomusの社会的相互作用を評価するための深層学習モデルを提案する。 我々は、ディープラーニングのアプローチの結果と実験結果と、最先端の分析モデルの結果を比較した。 機械学習モデルにより、ソーシャルインタラクションは、微妙な実験的観測可能な解析的相互作用と直接競合できることを実証する。
  論文  参考訳（メタデータ） (2023-02-14T05:25:03Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Model-agnostic Fits for Understanding Information Seeking Patterns in Humans [0.0]
  不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。 ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。 これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
  論文  参考訳（メタデータ） (2020-12-09T04:34:58Z)
• Unsupervised Gaze Prediction in Egocentric Videos by Energy-based Surprise Modeling [6.294759639481189]
  エゴセントリックな認識は、没入型コンピューティングデバイスの出現によって急速に成長してきた。 人間の視線予測は、自我中心の動画を分析する上で重要な問題である。 我々は,エゴセントリックな視線予測タスクにおいて,教師付き深層学習モデルの一般化能力を定量的に分析する。
  論文  参考訳（メタデータ） (2020-01-30T21:52:38Z)
• Deep learning reveals hidden interactions in complex systems [0.0]
  AgentNetは、複雑なシステムに隠されたインタラクションを明らかにするために、ディープニューラルネットワークで構成されるモデルフリーのデータ駆動フレームワークである。 鳥の群れから得られた実証データにより、AgentNetは本物の鳥が提示する隠れた相互作用範囲を特定できることを示した。
  論文  参考訳（メタデータ） (2020-01-03T02:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。