論文の概要: Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals

• arxiv url: http://arxiv.org/abs/2001.08601v1
• Date: Thu, 23 Jan 2020 15:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 13:15:28.383609
• Title: Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals
• Title（参考訳）: 変形を意識した画像翻訳による実験動物の姿勢推定
• Authors: Siyuan Li, Semih G\"unel, Mirela Ostrek, Pavan Ramdya, Pascal Fua, and Helge Rhodin
• Abstract要約: 我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
• 参考スコア（独自算出の注目度）: 56.65062746564091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our goal is to capture the pose of neuroscience model organisms, without using any manual supervision, to be able to study how neural circuits orchestrate behaviour. Human pose estimation attains remarkable accuracy when trained on real or simulated datasets consisting of millions of frames. However, for many applications simulated models are unrealistic and real training datasets with comprehensive annotations do not exist. We address this problem with a new sim2real domain transfer method. Our key contribution is the explicit and independent modeling of appearance, shape and poses in an unpaired image translation framework. Our model lets us train a pose estimator on the target domain by transferring readily available body keypoint locations from the source domain to generated target images. We compare our approach with existing domain transfer methods and demonstrate improved pose estimation accuracy on Drosophila melanogaster (fruit fly), Caenorhabditis elegans (worm) and Danio rerio (zebrafish), without requiring any manual annotation on the target domain and despite using simplistic off-the-shelf animal characters for simulation, or simple geometric shapes as models. Our new datasets, code, and trained models will be published to support future neuroscientific studies.
• Abstract（参考訳）: 私たちのゴールは、手動の監督を使わずに、神経科学モデル生物のポーズを捉え、神経回路がどのように振舞うかを研究することです。 人間のポーズ推定は、数百万のフレームからなる実データやシミュレーションデータセットでトレーニングすることで、驚くべき精度を達成している。 しかし、多くのアプリケーションではシミュレーションモデルは非現実的であり、包括的なアノテーションを持つ実際のトレーニングデータセットは存在しない。 この問題を新しいsim2realドメイン転送方式で解決する。 私たちの重要な貢献は、画像翻訳フレームワークにおける外観、形、ポーズの明示的で独立したモデリングです。 我々のモデルは、利用可能なボディキーポイント位置をソースドメインから生成されたターゲット画像に転送することで、ターゲットドメイン上のポーズ推定器を訓練することができる。 我々は,本手法を既存のドメイン転送法と比較し,目標ドメインに手動のアノテーションを必要とせず,単純な動物キャラクタを用いたシミュレーション,あるいはモデルとしての単純な幾何学的形状を用いて,ショウジョウバエ(ハエ),カエノハダニ(虫),ダニオレリオ(ゼブラフィッシュ)のポーズ推定精度の向上を示した。 私たちの新しいデータセット、コード、トレーニングされたモデルは、将来の神経科学研究をサポートするために公開されます。

関連論文リスト

• Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition [0.19183348587701113]
  別のタスクを支援するために事前訓練されたモデルの重みを移すことは、現代のディープラーニングの重要な部分となっている。 本実験は,鳥種認識のためのドメイン内モデルとデータセットの有用性を実証するものである。
  論文  参考訳（メタデータ） (2024-04-26T08:47:28Z)
• Neuromorphic Valence and Arousal Estimation [28.793519320598865]
  我々は、顔から感情状態を予測するためにニューロモルフィックデータを使用します。 トレーニングされたモデルが依然として最先端の結果を得ることができることを実証します。 本稿では,フレームベースとビデオベースの両方において,この課題を解決するための代替モデルを提案する。
  論文  参考訳（メタデータ） (2024-01-29T11:13:18Z)
• Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior [0.7499722271664145]
  そこで本稿では, 合成合成経験的ポーズを用いた2次元マウスのポーズ推定手法を提案する。 本手法はマウスの四肢構造に適応し,合成3次元マウスモデルから2次元ポーズの経験的先行を生成できる。 新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2023-07-25T09:31:55Z)
• MagicPony: Learning Articulated 3D Animals in the Wild [81.63322697335228]
  そこで本研究では,オブジェクトカテゴリのワンビュー画像から,この予測器を純粋に学習するMagicPonyを提案する。 その中核は、明瞭な形状と外観を暗黙的に表現し、神経磁場とメッシュの強さを組み合わせたものである。
  論文  参考訳（メタデータ） (2022-11-22T18:59:31Z)
• SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
  行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。 我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
  論文  参考訳（メタデータ） (2022-03-14T18:46:57Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Coarse-to-fine Animal Pose and Shape Estimation [67.39635503744395]
  単一画像から3次元動物メッシュを再構成する粗大なアプローチを提案する。 粗い推定段階はまずSMALモデルのポーズ、形状、翻訳パラメータを推定する。 次に、推定メッシュをグラフ畳み込みネットワーク(GCN)によって開始点として使用し、精製段階における頂点毎の変形を予測する。
  論文  参考訳（メタデータ） (2021-11-16T01:27:20Z)
• FixMyPose: Pose Correctional Captioning and Retrieval [67.20888060019028]
  本稿では,自動ポーズ修正システムに対応する新しいキャプションデータセットfixmyposeを提案する。 我々は「現在の」ポーズを「ターゲット」ポーズのように見えるように修正する記述を収集する。 MLバイアスを避けるため、さまざまな階層を持つキャラクタ間のバランスを維持します。
  論文  参考訳（メタデータ） (2021-04-04T21:45:44Z)
• Style-transfer GANs for bridging the domain gap in synthetic pose estimator training [8.508403388002133]
  画素レベルの画像変換に汎用的なGANモデルを採用することを提案する。 得られたモデルは、トレーニング中または推論時に、ドメインギャップをブリッジするために使用される。 ドメインランダム化の程度で訓練されたモデルと比較すると,モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2020-04-28T17:35:03Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。