論文の概要、ライセンス

# (参考訳) RISP:クロスドメインパラメータ推定のための微分可能シミュレーションとレンダリングによるレンダリング不変状態予測器 [全文訳有]

RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation ( http://arxiv.org/abs/2205.05678v1 )

ライセンス: CC0 1.0
Pingchuan Ma, Tao Du, Joshua B. Tenenbaum, Wojciech Matusik, Chuang Gan(参考訳) この研究は、レンダリング構成がアクセス不能なビデオから直接物理系の動的動きを特徴付けるパラメータを特定することを検討する。 既存のソリューションは大量のトレーニングデータを必要とするか、未知のレンダリング設定の汎用性を欠いている。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を組み合わせた新しい手法を提案する。 我々の核となるアイデアはレンダリング不変状態予測(risp)ネットワークを訓練することであり、画像の違いをレンダリング構成、例えば照明、シャドー、物質反射などに依存しない状態差に変換する。 この予測器を訓練するために、微分可能レンダリングからの勾配を用いて、分散のレンダリングにおいて新たな損失を定式化する。 さらに、この損失の勾配を計算するための効率的な2階法を提案し、現代のディープラーニングフレームワークにシームレスに統合できるようにする。 本手法は剛体および変形体シミュレーション環境において, 状態推定, システム同定, 模倣学習, 振動運動制御の4つのタスクを用いて評価する。 さらに,実世界の実例における本手法の有効性を実証する。その動き列の映像から,クワッドローターの状態と動作シーケンスを推測する。 既存の手法と比較して,提案手法は再構成誤差を著しく低減し,未知のレンダリング構成の一般化性が向上する。

This work considers identifying parameters characterizing a physical system's dynamic motion directly from a video whose rendering configurations are inaccessible. Existing solutions require massive training data or lack generalizability to unknown rendering configurations. We propose a novel approach that marries domain randomization and differentiable rendering gradients to address this problem. Our core idea is to train a rendering-invariant state-prediction (RISP) network that transforms image differences into state differences independent of rendering configurations, e.g., lighting, shadows, or material reflectance. To train this predictor, we formulate a new loss on rendering variances using gradients from differentiable rendering. Moreover, we present an efficient, second-order method to compute the gradients of this loss, allowing it to be integrated seamlessly into modern deep learning frameworks. We evaluate our method in rigid-body and deformable-body simulation environments using four tasks: state estimation, system identification, imitation learning, and visuomotor control. We further demonstrate the efficacy of our approach on a real-world example: inferring the state and action sequences of a quadrotor from a video of its motion sequences. Compared with existing methods, our approach achieves significantly lower reconstruction errors and has better generalizability among unknown rendering configurations.
公開日: Wed, 11 May 2022 17:59:51 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] V C . s c [ ] 略称はC。 sc [ 0.39
1 v 8 7 6 5 0 1 v 8 7 6 5 0 0.42
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
RISP: RENDERING-INVARIANT STATE PREDICTOR WITH DIFFERENTIABLE SIMULATION AND RENDERING FOR CROSS-DOMAIN PARAMETER ESTIMATION RISP:クロス・ドミニンのパラメータ推定のための異なるシミュレーションと推論を伴う推論不変状態予測器 0.40
Pingchuan Ma∗ MIT CSAIL pcma@csail.mit.edu Pingchuan Ma∗ MIT CSAIL pcma@csail.mit.edu 0.36
Tao Du∗ MIT CSAIL taodu@csail.mit.edu MIT CSAIL taodu@csail.mit.edu 0.43
Joshua B. Tenenbaum MIT BCS, CBMM, CSAIL jbt@mit.edu Joshua B. Tenenbaum MIT BCS, CBMM, CSAIL jbt@mit.edu 0.48
Wojciech Matusik MIT CSAIL wojciech@csail.mit.e du MIT CSAIL wojciech@csail.mit.e du 0.38
Chuang Gan MIT-IBM Watson AI Lab ganchuang@csail.mit. edu Chuang Gan MIT-IBM Watson AI Lab ganchuang@csail.mit. edu 0.37
ABSTRACT This work considers identifying parameters characterizing a physical system’s dynamic motion directly from a video whose rendering configurations are inaccessible. ABSTRACT この研究は、レンダリング設定がアクセス不能なビデオから直接、物理システムの動的動作を特徴付けるパラメータを特定することを検討する。 0.55
Existing solutions require massive training data or lack generalizability to unknown rendering configurations. 既存のソリューションは大量のトレーニングデータを必要とするか、未知のレンダリング設定の汎用性を欠いている。 0.44
We propose a novel approach that marries domain randomization and differentiable rendering gradients to address this problem. 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を組み合わせた新しい手法を提案する。 0.60
Our core idea is to train a rendering-invariant state-prediction (RISP) network that transforms image differences into state differences independent of rendering configurations, e g , lighting, shadows, or material reflectance. 我々の核となるアイデアはレンダリング不変状態予測(risp)ネットワークを訓練し、レンダリング構成、例えば照明、シャドー、物質反射などとは無関係に画像の違いを状態差に変換する。 0.68
To train this predictor, we formulate a new loss on rendering variances using gradients from differentiable rendering. この予測器を訓練するために、微分可能レンダリングからの勾配を用いて、分散のレンダリングにおいて新たな損失を定式化する。
訳抜け防止モード: この予測器を訓練するには 微分可能なレンダリングの勾配を用いて、分散のレンダリングに新たな損失を定式化する。
0.56
Moreover, we present an efficient, second-order method to compute the gradients of this loss, allowing it to be integrated seamlessly into modern deep learning frameworks. さらに、この損失の勾配を計算するための効率的な2階法を提案し、現代のディープラーニングフレームワークにシームレスに統合できるようにする。 0.65
We evaluate our method in rigid-body and deformable-body simulation environments using four tasks: state estimation, system identification, imitation learning, and visuomotor control. 本手法は剛体および変形体シミュレーション環境において, 状態推定, システム同定, 模倣学習, 振動運動制御の4つのタスクを用いて評価する。 0.73
We further demonstrate the efficacy of our approach on a real-world example: inferring the state and action sequences of a quadrotor from a video of its motion sequences. さらに,実世界の実例における本手法の有効性を実証する。その動き列の映像から,クワッドローターの状態と動作シーケンスを推測する。 0.69
Compared with existing methods, our approach achieves significantly lower reconstruction errors and has better generalizability among unknown rendering configurations1 . 既存の手法と比較すると,提案手法は再構成誤差を著しく低減し,未知のレンダリング構成における一般化性も向上する。 0.59
1 INTRODUCTION Reconstructing dynamic information about a physical system directly from a video has received considerable attention in the robotics, machine learning, computer vision, and graphics communities. 1 導入 ビデオから直接物理システムに関する動的情報を再構築することは、ロボティクス、機械学習、コンピュータビジョン、グラフィックコミュニティでかなりの注目を集めている。 0.55
This problem is fundamentally challenging because of its deep coupling among physics, geometry, and perception of a system. この問題は、物理学、幾何学、およびシステムの知覚の深い結合のため、基本的に困難である。 0.69
Traditional solutions like motion capture systems (Vicon; OptiTrack; Qualisys) can provide high-quality results but require prohibitively expensive external hardware platforms. モーションキャプチャシステム(Vicon, OptiTrack, Qualisys)のような従来のソリューションは、高品質な結果を提供するが、高価な外部ハードウェアプラットフォームを必要とする。 0.67
More recent development in differentiable simulation and rendering provides an inexpensive and attractive alternative to the motion capture systems and has shown promising proof-of-concept results (Murthy et al , 2020). 微分可能シミュレーションとレンダリングのより最近の開発は、モーションキャプチャシステムに代わる安価で魅力的な代替となり、概念実証(murthy et al , 2020)の有望な結果を示している。 0.60
However, existing methods in this direction typically assume the videos come from a known renderer. しかし、この方向の既存の方法は通常、ビデオは既知のレンダラーから来ていると仮定する。 0.64
Such an assumption limits their usefulness in inferring dynamic information from an unknown rendering domain, which is common in real-world applications due to the discrepancy between rendering and real-world videos. このような仮定は、レンダリングと実世界のビデオの相違のため、実世界のアプリケーションでよく見られる未知のレンダリングドメインから動的情報を推測するのに有用性を制限する。 0.70
Existing techniques for aligning different rendering domains, e g , CycleGAN (Zhu et al , 2017), may help alleviate this issue, but they typically require access to the target domain with massive data, which is not always available. さまざまなレンダリングドメイン(例えばcyclegan (zhu et al , 2017)をアライメントするための既存のテクニックは、この問題を緩和するのに役立つかもしれないが、通常、ターゲットドメインへのアクセスには大量のデータを必要とする。 0.72
To our best knowledge, inferring dynamic parameters of a physical system directly from videos under unknown rendering conditions remains far from being solved, and our work aims to fill this gap. 我々の知る限り、未知のレンダリング条件下でビデオから直接物理システムの動的パラメーターを推定することは、解決には程遠いものであり、我々の研究はこのギャップを埋めることを目指している。
訳抜け防止モード: 最善の知識に 未知レンダリング条件下での映像から直接物理系の動的パラメータを推定する 解決には程遠いままで 私たちの仕事はこのギャップを埋めることを目指している。
0.78
∗Equal contribution 1Videos, code, and data are available on the project webpage: http://risp.csail.mi t.edu. ∗Equalコントリビューション 1Videos, code, and data はプロジェクトの Web ページで公開されている。 0.71
1 1 0.43
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
Figure 1: A gallery of our four environments (left to right) across three rendering domains (top to bottom). 図1: 3つのレンダリングドメイン(上から下)にわたる4つの環境(左から右)のギャラリー。 0.78
For each environment, we train a RISP with images under varying lighting, background, and materials generated from a differentiable render (top). 各環境に対して、異なるレンダリング(トップ)から生成された様々な照明、背景、材料の下で画像でRISPを訓練する。 0.71
Each environment then aims to find proper system and control parameters to simulate and render the physical system (middle) so that it matches the dynamic motion of a reference video (bottom) with unknown rendering configurations. それぞれの環境は、物理系(中間体)をシミュレートしレンダリングするための適切なシステムと制御パラメータを見つけ、参照ビデオ(ボット)のダイナミックな動きと未知のレンダリング構成とを一致させる。 0.83
We deliberately let three rows use renderers with vastly different rendering configurations. 故意に、3行のレンダリング設定がかなり異なるレンダラーを使わせました。 0.55
We propose a novel approach combining three ideas to address this challenge: domain randomization, state estimation, and rendering gradients. 本稿では,ドメインランダム化,状態推定,レンダリング勾配という3つのアイデアを組み合わせた新しいアプローチを提案する。 0.78
Domain randomization is a classic technique for transferring knowledge between domains by generating massive samples whose variances can cover the discrepancy between domains. ドメインランダム化(Domain randomization)は、ドメイン間の相違をカバーできる大量のサンプルを生成することによって、ドメイン間で知識を伝達する古典的な手法である。
訳抜け防止モード: ドメインランダム化は古典的なテクニックである ドメイン間の差異をカバーできる大量のサンプルを生成して、ドメイン間で知識を伝達すること。
0.66
We upgrade it with two key innovations: First, we notice that image differences are sensitive to changes in rendering configurations, which shadows the renderinginvariant, dynamics-related parameters that we genuinely aim to infer. まず、画像の違いがレンダリング構成の変更に敏感であることに気付きました。
訳抜け防止モード: まず、画像の違いが変化に敏感であることに気付きます。 レンダリング設定(rendering invariant, dynamics)は、私たちが本当に推測しようとしている関連するパラメータをシャドーする。
0.65
This observation motivates us to propose a rendering-invariant state predictor (RISP) that extracts state information of a physical system from videos. 本研究では,映像から物理系の状態情報を抽出するレンダリング不変状態予測器(RISP)を提案する。 0.78
Our second innovation is to leverage rendering gradients from a differentiable renderer. 第2のイノベーションは、微分可能なレンダラからのレンダリング勾配を活用することです。 0.46
Essentially, requiring the output of RISP to be agnostic to rendering configurations equals enforcing its gradients for rendering parameters to be zero. 基本的に、RISPの出力をレンダリング設定に依存しないことは、レンダリングパラメータがゼロになるための勾配を強制することと同じである。
訳抜け防止モード: 基本的には、RISPの出力はレンダリング設定に依存しない。 レンダリングパラメータが 0 になるための勾配を強制する。
0.58
We propose a new loss function using rendering gradients and show an efficient method for integrating it into deep learning frameworks. レンダリング勾配を用いた新たな損失関数を提案し,それをディープラーニングフレームワークに統合する効率的な方法を示す。 0.76
Putting all these ideas together, we develop a powerful pipeline that effectively infers parameters of a physical system directly from video input under random rendering configurations. これらすべてのアイデアをまとめて、ランダムなレンダリング構成下での映像入力から直接物理システムのパラメータを効果的に推論する強力なパイプラインを開発する。 0.70
We demonstrate the efficacy of our approach on a variety of challenging tasks evaluated in four environments (Sec. 4 and Fig 1) as well as in a real-world application (Fig. 4). 4 つの環境(sec.4 および fig1)および実世界のアプリケーション(図4)で評価された様々な課題に対して,本手法の有効性を実証する(図 4 図)。 0.72
The experimental results show that our approach outperforms the state-of-the-art techniques by a large margin in most of these tasks due to the inclusion of rendering gradients in the training process. 実験の結果,本手法は,学習過程にレンダリング勾配が組み込まれているため,ほとんどの作業において最先端技術よりも大きなマージンが得られた。 0.71
In summary, our work makes the following contributions: • We investigate and identify the bottleneck in inferring state, system, and control parameters of 要約すると、我々の研究は以下の貢献をしている。 • 状態、システム、制御パラメータの推論におけるボトルネックを調査し、特定する。 0.58
physical systems from videos under various rendering configurations (Sec. 3.1); 様々なレンダリング構成によるビデオからの物理システム(Sec.1) 0.75
• We propose a novel solution combining domain randomization, state estimation, and rendering •ドメインのランダム化,状態推定,レンダリングを組み合わせた新しい解を提案する。 0.77
gradients to achieve generalizability across rendering domains (Sec. 3.2); レンダリングドメインをまたいだ一般化を達成するための勾配 (sec. 3.2) 0.63
• We demonstrate the efficacy of our approach on several challenging tasks in both simulation and •シミュレーションとシミュレーションの両面での課題に対するアプローチの有効性を実証する。 0.74
real-world environments (Sec. 4). 実世界環境 (sec. 4)。 0.77
2 RELATED WORK Differentiable simulation Differentiable simulation equips traditional simulation with gradient information. 2関連作業 微分可能シミュレーション 微分可能シミュレーションは、勾配情報を持つ従来のシミュレーションに匹敵する。 0.62
Such additional gradient information connects simulation tasks with numerical optimization techniques. このような勾配情報が数値最適化手法とシミュレーションタスクを結びつける。 0.64
Previous works have demonstrated the power of gradients from differentiable simulators in rigid-body dynamics (Geilinger et al , 2020; Degrave et al , 2019; de Avila Belbute-Peres et al , 2018; Xu et al , 2021; Hong et al , 2021; Qiao et al , 2021a), deformable-body dynamics (Du et al , 2021b; Huang et al , 2020; Du et al , 2021a; Hu et al , 2019b; Gan et al , 2021; Hahn et al , 従来の研究は、剛体力学における微分可能シミュレータ(Geilinger et al , 2020; Degrave et al , 2019; de Avila Belbute-Peres et al , 2018; Xu et al , 2021; Hong et al , 2021; Qiao et al , 2021a), deformable-body dynamics (Du et al , 2021b; Huang et al , 2020; Du et al , 2021a; Hu et al , 2019b; Gan et al , 2021b; Hahn et al , 2021a)の勾配の力を示した。 0.91
2 2 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
Figure 2: An overview of our method (Sec. 3). 図2:我々の方法の概要(sec.3)。 0.69
We first train RISP using images rendered with random states and rendering parameters (top). まず、ランダムな状態とレンダリングパラメータ(トップ)でレンダリングされた画像を用いてRISPを訓練する。 0.53
We then append RISP to the output of a differentiable renderer, leading to a fully differentiable pipeline from system and control parameters to states predicted from images (middle). 次に、微分可能なレンダラの出力にrispを追加し、システムと制御パラメータから画像から予測される状態(中間)に完全に微分可能なパイプラインを生成する。 0.65
Given reference images generated from unknown parameters (dashed gray boxes) in the target domain (bottom), we feed them to RISP and minimize the discrepancies between predicted states (rightmost green-gray box) to reconstruct the underlying system parameters, states, or actions. 対象領域(ボット)の未知パラメータ(脱落した灰色のボックス)から生成された参照画像について、RISPに供給し、予測状態(最もグリーングレーボックス)間の差を最小限に抑え、基盤となるシステムパラメータ、状態、動作を再構築する。 0.67
2019; Ma et al , 2021; Qiao et al , 2021b), fluids (Du et al , 2020; McNamara et al , 2004; Hu et al , 2019a), and co-dimensional objects (Qiao et al , 2020; Liang et al , 2019). 2019年、Ma et al , 2021b、Qiao et al , 2021b、流体(Du et al , 2020、McNamara et al , 2004、Hu et al , 2019a)、および共次元物体(Qiao et al , 2020、Liang et al , 2019)。 0.41
We make heavy use of differentiable simulators in this work but our contribution is orthogonal to them: we treat differentiable simulation as a black box, and our proposed approach is agnostic to the choice of simulators. 本研究では, 識別可能シミュレータを多用しているが, コントリビューションは直交的であり, 識別可能シミュレーションをブラックボックスとして扱い, 提案手法はシミュレータの選択に非依存である。 0.75
Differentiable rendering Differentiable rendering offers gradients for rendering inputs, e g , lighting, materials, or shapes (Ramamoorthi et al , 2007; Li et al , 2015; Jarosz et al , 2012). 微分可能レンダリング 微分可能レンダリングは、例えば、照明、材料、形状といった入力をレンダリングするための勾配を提供する(ramamoorthi et al , 2007; li et al , 2015; jarosz et al , 2012)。 0.67
The state-of-the-art differentiable renderers (Li et al , 2018; Nimier-David et al , 2019) are powerful in handling gradients even with global illumination or occlusion. 最先端の差別化可能なレンダラー(Li et al , 2018; Nimier-David et al , 2019)は、世界的な照明や閉塞でも勾配を扱うのに強力である。 0.63
Our work leverages these renderers but with a different focus on using their gradients as a physics prior in a learning pipeline. 私たちの研究はこれらのレンダラを活用していますが、学習パイプラインに先立って、グラデーションを物理として使用することに注目しています。
訳抜け防止モード: 私たちの仕事はこれらのレンダラーを活用するが、焦点は違う。 グラデーションを物理として 学習パイプラインで使います
0.68
Domain randomization The intuition behind domain randomization (Tobin et al , 2017; Peng et al , 2018; Andrychowicz et al , 2020; Sadeghi & Levine, 2017; Tan et al , 2018) is that a model can hopefully cross the domain discrepancy by seeing a large amount of random data in the source domain. ドメインランダム化 ドメインランダム化の背後にある直感(Tobin et al , 2017; Peng et al , 2018; Andrychowicz et al , 2020; Sadeghi & Levine, 2017; Tan et al , 2018)は、ソースドメインで大量のランダムデータを見ることによって、モデルがドメインの矛盾を克服できることを願っている。 0.84
This often leads to robust but conservative performance in the target domain. これはしばしば、ターゲットドメインで堅牢だが保守的なパフォーマンスをもたらす。 0.70
The generalizability of domain randomization comes from a more robust model that attempts to absorb domain discrepancies by behaving conservatively, while the generalizability of our method comes from a more accurate model that aims to match first-order gradient information. ドメインランダム化の一般化性は、保守的に振る舞うことによってドメインの不一致を吸収しようとするより堅牢なモデルから来ており、一方、我々の手法の一般化性は、一階勾配情報に一致することを目的としたより正確なモデルに由来する。
訳抜け防止モード: 領域ランダム化の一般化可能性は、試みるより堅牢なモデルに由来する 保守的にドメインの不一致を吸収する 一方,本手法の一般化は,次数勾配情報に一致させることを目的とした,より正確なモデルから導かれる。
0.70
3 METHOD Given a video showing the dynamic motion of a physical system, our goal is to infer the unknown state, system, or control parameters directly from the video with partial knowledge about the physics model and rendering conditions. 3方法 物理系の動的動きを示すビデオが与えられた場合,我々は,物理モデルとレンダリング条件に関する部分的な知識をビデオから直接,未知の状態,システム,あるいは制御パラメータを推測することを目的としている。 0.71
Specifically, we assume we know the governing equations of the physical system (e g , Newton’s law for rigid-body systems) and the camera position, but the exact system, control, or rendering parameters are not exposed. 具体的には、物理系の制御方程式(ニュートンの剛体系の法則など)とカメラの位置を知っているが、正確なシステム、制御、およびレンダリングパラメータは公開されていないと仮定する。 0.77
To solve this problem, we propose a pipeline (Fig. この問題を解決するために,パイプライン(図)を提案する。 0.68
2) that consists of two components: 2) 2つの構成要素からなるもの 0.86
1) a differentiable simulation and rendering engine; 1) 微分可能なシミュレーション及びレンダリングエンジン 0.67
2) the RISP network. 2) RISP ネットワーク。 0.69
First, we use our engine to simulate and render the state of a physical system and outputs images under varying rendering configuration. まず,本エンジンを用いて物理システムの状態をシミュレートし,様々なレンダリング構成で画像を出力する。 0.73
Next, the RISP network learns to reconstruct the state information from these generated images. 次に、RISPネットワークは、生成された画像から状態情報を再構築することを学ぶ。 0.69
Putting 3 TrainingdataDifferen tiable renderer(training)Ra ndom statesRandom rendering parametersSource domain (training)Source domainActionsSystem parametersDifferenti able simulationDifferenti able rendererPredicted statesStatesRenderin g parametersImagesRISP Target domainImagesPredicte d statesRendererAction sSystem parametersSimulation StatesRendering parametersRISPLoss パッティング 3 TrainingdataDifferen tiable renderer(training)Ra ndom statesRandom rendering parametersSource domain(training)Sour ce domainActionsSystem parametersDifferenti able SimulationDifferenti able rendererPredicted stateStatesRendering parametersImagesRISP Target domain ImagesPredicted statesRendererAction sSystem parametersSimulation StatesRendering parametersRISPLoss 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
these two components together, we have a pipeline that can faithfully recover dynamic information of a physical system from a new video with unseen rendering configurations. この2つのコンポーネントが合わさって 物理的なシステムの ダイナミックな情報を 忠実に復元できるパイプラインがある 見えないレンダリング構成の 新しいビデオから 0.84
3.1 DIFFERENTIABLE SIMULATION AND RENDERING ENGINE Given a physical system with known dynamic model M, we first use a differentiable simulator to simulate its states based on action inputs at each time step after time discretization: 3.1 動的モデル M を持つ物理系が与えられた場合、まず、時間離散化後の各ステップにおける動作入力に基づいて、その状態をシミュレートするために微分可能なシミュレータを使用する。 0.77
(1) where N is the number of time steps in a rollout of physics simulation, and si, si+1 and ai represent the state and action vectors at the corresponding time steps, respectively. 1) N が物理シミュレーションのロールアウトにおける時間ステップの数であり、si, si+1, ai はそれぞれ対応する時間ステップにおける状態ベクトルと作用ベクトルを表す。 0.86
The φ vector encodes the system parameters in the model, e g , mass, inertia, and elasticity. φベクトルは、モデル内のシステムパラメータ、例えば、質量、慣性、弾性を符号化する。 0.72
Next, we apply a differentiable renderer R to generate an image Ii for each state si: 次に、各状態 si に対して画像 Ii を生成するために微分可能なレンダラ R を適用する。
訳抜け防止モード: 次に、微分可能なレンダラーRを適用する。 to generate a image Ii for each state si
0.75
si+1 = Mφ(si, ai), si+1 = Mφ(si, ai) 0.48
∀i = 0, 1,··· , N − 1, i = 0, 1,···· , n − 1 である。 0.64
(2) Here, ψ is a vector encoding rendering parameters whose gradients are available in the renderer R. Examples of ψ include light intensity, material reflectence, or background color. 2) ここでは,レンダリングパラメータを符号化するベクトルであり,レンダラーRで勾配が利用できる。
訳抜け防止モード: (2 ) ここで ψ は勾配を持つレンダリングパラメータを符号化するベクトルである。 ψの例としては、光強度、物質反射、背景色などがある。
0.69
By abuse of notation, we re-write the workflow of our simulation and rendering engine to a compact form: 表記法を乱用することで、シミュレーションとレンダリングエンジンのワークフローをコンパクトな形式に書き換えます。 0.67
Ii = Rψ(si), ii = rψ(si) 0.38
∀i = 0, 1,··· , N. は 0, 1,··· , N である。 0.59
{Ii} = Rψ[Mφ(s0,{ai}) ]. i} = rψ[mφ(s0,{ai}) ] である。 0.79
(cid:125) (cid:124) (明暦125年) (cid:124) 0.43
(cid:123)(cid:122) (cid:123)(cid:122) 0.37
{si} si (複数形 sis) 0.21
In other words, given an initial state s0 and a sequence of actions {ai}, we generate a sequence of states {si} from simulation and renders the corresponding image sequence {Ii}. 言い換えると、初期状態 s0 とアクション {ai} のシーケンスが与えられたとき、シミュレーションから状態 {si} のシーケンスを生成し、対応する画像列 {ii} をレンダリングします。 0.78
The task of recovering unknown information from a reference video {Iref 参照映像から未知の情報を回収する作業 0.54
i } can be formulated as follows: i } は次のように定式化できる。 0.60
min s0,{ai},φ,ψ s.t. ミン s0,{ai}, φ,ψ s.t。 0.68
i },{Ii}), i },{ii})。 0.27
L({Iref {Ii} = Rψ[Mφ(s0,{ai})], L({Iref {Ii} = R\[Mφ(s0,{ai})] 0.37
(5) where L is a loss function penalizing the difference between the generated images and their references. (5)Lは、生成された画像と参照との差をペナル化する損失関数である。 0.75
Assuming that the simulator M and the renderer R are differentiable with respect to their inputs, we can run gradient-based optimization algorithms to solve Eqn. シミュレータMとレンダラーRが入力に対して微分可能であると仮定すると、勾配に基づく最適化アルゴリズムを実行してEqnを解くことができる。 0.77
(4). This is essentially the idea proposed in ∇Sim, the state-of-the-art method for identifying parameters directly from video inputs (Murthy et al , 2020). (4). これは基本的に、ビデオ入力から直接パラメータを識別する最先端の方法であるシム(murthy et al, 2020)で提案されているアイデアである。 0.53
Specifically, ∇Sim defines L as a norm on pixelwise differences. 具体的には、sim は L を画素差のノルムとして定義する。 0.55
One major limitation in Eqn. eqnの1つの大きな制限。 0.69
(4) is that it expects reasonably similar initial images {Ii} and references {Iref i } to successfully solve the optimization problem. (4) 類似の初期画像 {ii} と参照 {iref i } が最適化問題をうまく解くことを期待している。 0.79
Indeed, since the optimization problem is highly nonlinear due to its coupling between simulation and rendering, local optimization techniques like gradient-descent can be trapped into local minima easily if {Ii} and {Iref i } are not close enough. 実際、最適化問題はシミュレーションとレンダリングのカップリングによって非常に非線形であるため、{Ii} と {Iref i } が十分接近していない場合、勾配線のような局所最適化手法は局所ミニマに容易に閉じ込められる。 0.75
While ∇Sim has reported promising results when {Ii} and {Iref i } are rendered with moderately different ψ, we found in our experiments that directly optimizing L defined on the image space rarely works when the two rendering domains are vastly different (Fig. 1). Sim は {Ii} と {Iref i } が適度に異なるときの有望な結果を報告しているが、我々の実験では、画像空間上で定義される L を直接最適化することは、2つのレンダリング領域が大きく異なるときにはほとんど機能しない(図1)。 0.71
Therefore, we believe it requires a fundamentally different solution, motivating us to propose RISP in our method. したがって,本手法でrispを提案する動機づけとなる,根本的に異なる解が必要であると考える。 0.59
3.2 THE RISP NETWORK 3.2 RISP ネットワーク 0.87
The difficulty of generalizing Eqn. Eqn の一般化の難しさ。 0.69
(4) across different rendering domains is partially explained by the fact that the loss L is defined on the differences in the image space, which is sensitive to changes in rendering configurations. (4) 異なるレンダリング領域にまたがる損失Lは画像空間の違いに基づいて定義されており、レンダリング構成の変化に敏感であるという事実によって部分的に説明される。 0.80
To address this issue, we notice from many differentiable simulation papers that a loss function in the state space is fairly robust to random initialization (Du et al , 2020; Liang et al , 2019), inspiring us to redefine L in a state-like space. この問題に対処するため、多くの微分可能なシミュレーション論文から、状態空間における損失関数がランダム初期化(du et al , 2020; liang et al , 2019)にかなり頑健であることに気付き、l を状態様空間に再定義するように促す。 0.76
More concretely, we introduce the RISP network N that takes as input an image I and outputs a state prediction ˆs = N (I). より具体的には、画像Iの入力としてRISPネットワークNを導入し、状態予測をN(I)に出力する。 0.76
We then redefine the optimization problem in Eqn. 次に最適化問題をeqnで再定義する。 0.68
(4) as follows (Fig. 2): (4)次の通りである(第2図)。 0.74
(7) Note that the network Nθ, parametrized by θ, is pre-trained and fixed in this optimization problem. (7) この最適化問題では、ネットワーク nθ が事前学習され固定されていることに注意する。
訳抜け防止モード: (7)注意 θによりパラメータ化されたネットワーク Nθ はこの最適化問題において事前訓練され固定される。
0.76
Essentially, Eqn. (6) maps the two image sequences to the predicted state space, after which the 基本的にはEqn。 (6) 2つの画像列を予測状態空間にマッピングし、そのあとに、 0.71
min s0,{ai},φ,ψ s.t. ミン s0,{ai}, φ,ψ s.t。 0.68
L(Nθ({Iref i }),Nθ({Ii})), {Ii} = Rψ[Mφ(s0,{ai})]. L(Nθ({Iref i }),Nθ({Ii})), {Ii} = R\[Mφ(s0,{ai})] である。 0.77
(3) (4) (6) (3) (4) (6) 0.42
4 4 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
standard gradient-descent optimization follows. 標準勾配差の最適化は以下のとおりである。 0.35
A well-trained network N can be interpreted as an “inverse renderer” R−1 that recovers the rendering-invariant state vector regardless of the choice of rendering parameters ψ, allowing Eqn. 十分に訓練されたネットワークNは「逆レンダラー」 R−1 と解釈され、レンダリングパラメータの選択に関係なくレンダリング不変状態ベクトルを復元し、Eqn を許容する。 0.72
(6) to match the information behind two image sequences {Ii} and {Iref i } even when they are generated from different renderers Rψ. (6) 2つの画像列 {ii} と {iref i } の背後にある情報を異なるレンダラ rψ から生成しても一致させる。 0.79
Below, we present two ideas to train the network N : 以下に、ネットワークNをトレーニングする2つのアイデアを紹介する。 0.69
The first idea: domain randomization Our first idea is to massively sample state-rendering pairs (sj, ψj) and render the corresponding image Ij = Rψj (sj), giving us a training set D = {(sj, ψj, Ij)}. ドメインランダム化 最初のアイデアは、状態レンダリングペア (sj, sj) を大量にサンプリングし、対応する像 Ij = R j (sj) を描画し、トレーニングセット D = {(sj, sj, Ij)} を与えることである。 0.76
We then train N to minimize the prediction error: 予測誤差を最小限に抑えるために n を訓練します 0.62
Lerror(θ,D) = エラー(θ,D) = 0.71
(cid:107)sj − Nθ(Ij)(cid:107)1 (cid:107)sj − Nθ(Ij)(cid:107)1 0.43
. (8) (cid:88) . (8) (cid:88) 0.41
(sj ,ψj ,Ij )∈D (sj ,sj ,Ij )公開されている。 0.55
(cid:124) (cid:123)(cid:122) (cid:124) (cid:123)(cid:122) 0.38
Lerror j (cid:125) エラー j (明暦125年) 0.49
The intuition is straightforward: Nθ learns to generalize over rendering configurations because it sees images generated with various rendering parameters ψ. nθは様々なレンダリングパラメータで生成された画像を見るため、レンダリング設定を一般化することを学ぶ。 0.64
This is exactly the domain randomization idea (Tobin et al , 2017), which we borrow to solve our problem across different rendering domains. これはまさにドメインランダム化のアイデア(Tobin et al , 2017)で、異なるレンダリング領域にわたる問題の解決に使用しています。 0.70
The second idea: rendering gradients One major bottleneck in domain randomization is its needs for massive training data that spans the whole distribution of rendering parameters ψ. 2つ目のアイデア: 勾配のレンダリング ドメインのランダム化における大きなボトルネックの1つは、レンダリングパラメーターの分布全体にまたがる大規模なトレーニングデータの必要性である。 0.64
Noting that a perfectly rendering-invariant N must satisfy the following condition: 完全レンダリング不変な n は以下の条件を満たす必要がある。 0.70
we consider adding a regularizer to the training loss: トレーニングの損失に 正規化装置を加えることを検討します 0.60
Ltrain(θ,D) = Lerror + γ ltrain(θ,d) = lerror + γ 0.81
∂Nθ(Rψ(s)) ∂Nθ(R'(s)) 0.45
∂ψ ∀s, ψ, ∂ψ s, ψ である。 0.37
≡ 0, (cid:88) ≡ 0, (cid:88) 0.41
(cid:124) (sj ,ψj ,Ij )∈D (cid:124) (sj ,sj ,Ij )公開されている。 0.47
(cid:107) ∂Nθ(Rψj (sj)) (cid:123)(cid:122) (cid:107) ∂Nθ(R'j (sj)) (cid:123) (cid:122) 0.36
∂ψj Lreg (9) ・・・・ レグ (9) 0.38
(10) (cid:107)F (10) (cid:107)f 0.41
, (cid:125) , (明暦125年) 0.45
where (cid:107) · (cid:107)F indicates the Frobenius norm and γ a regularization weight. ここで (cid:107) · (cid:107)F はフロベニウスノルムと γ を正規化ウェイトを表す。 0.73
The intuition is that by suppressing this Jacobian to zero, we encourage the network N to flatten out its landscape along the dimension of rendering parameters ψ, and invariance across rendering configurations follows. 直観は、このヤコビアンを 0 に抑えることにより、ネットワーク N は、レンダリングパラメータ ? の次元に沿ってその風景を平らにし、レンダリング構成間の不変性も従うことを奨励する。 0.56
To implement this loss, we apply the chain rule: この損失を実装するために、チェーンルールを適用します。 0.58
∂Nθ(Rψj (sj)) ∂nθ(rψj(sj)) 0.36
∂ψj ∂Nθ(Ij) ∂ψj ・・・・ ・・Nθ(Ij) ・・・ 0.34
= = ∂Nθ(Ij) = = Ij (複数形 Ijs) 0.41
∂Ij ∂Ij ∂ψj ∂Ij Ij (複数形 Ijs) 0.49
, (11) ∂Ij , (11) ∂Ij 0.54
where the first term ∂Nθ (Ij ) is available in any modern deep learning frameworks and the second term ∂Ij can be obtained from the state-of-the-art differentiable renderer (Nimier-David et al , 2019). 第1項 ∂nθ (ij ) は現代のディープラーニングフレームワークで利用可能であり、第2項 ∂ij は最先端の微分可能レンダラ (nimier-david et al , 2019) から得られる。 0.59
∂ψj We can now see more clearly the intuition behind RISP: it requires the network’s sensitivity about input images to be orthogonal to the direction that rendering parameters can influence the image, leading to a rendering-invariant prediction. 入力画像に対するネットワークの感度は、レンダリングパラメータが画像に影響を及ぼす方向と直交し、レンダリング不変な予測をもたらす必要がある。
訳抜け防止モード: RISPの背景にある直感をより明確に見ることができます。 入力画像に対するネットワークの感度は、レンダリングパラメータが画像に影響を及ぼす方向と直交する。 レンダリング(invariant prediction)につながる。
0.64
We stress that the design of this new loss in Eqn. Eqnにおけるこの新たな損失の設計を強調します。 0.73
(10) is non-trivial. (10)は非自明である。 0.66
In fact, both Lerror and Lreg have their unique purposes and must be combined: Lerror encourages N to fit its output to individually different states, and Lreg attempts to smooth out its output along the ψ dimension. 実際、Lerror と Lreg はそれぞれ独自の目的を持ち、組み合わせなければならない: Lerror は N の出力を個別に異なる状態に合わせることを奨励し、Lreg はその出力を n 次元に沿って滑らかにしようとする。 0.75
Specifically, Lreg cannot be optimized as a standalone loss because it leads to a trivial solution of N always predicting constant states. 特に、Lreg は N の自明な解が常に定常状態を予測するので、独立損失として最適化することはできない。 0.75
Putting Lerror and Lreg together forces them to strike a balance between predicting accurate states and ignoring noises from rendering conditions, leading to a network N that truly learns the “inverse renderer” R−1. LerrorとLregを結びつけると、正確な状態を予測することと、レンダリング条件からノイズを無視することのバランスがとられ、ネットワークNが真の“逆レンダラー”R−1を学習する。 0.70
It remains to show how to compute the gradient of the regularizer Lreg with respect to the network parameters θ, which is required by gradient-based optimizers to minimize this new loss. この新たな損失を最小限に抑えるために、勾配に基づく最適化器が要求するネットワークパラメータ θ に対して、正規化器 Lreg の勾配を計算する方法を示す。 0.77
As the loss definition now includes first-order derivatives, computing its gradients involves second-order partial derivatives, which can be time-consuming if implemented carelessly with multiple loops. 損失定義は現在では一階微分を含むため、勾配の計算には二階偏微分が関係する。
訳抜け防止モード: 損失の定義には、第一階微分が含まれる。 勾配を計算し 二階部分微分を含む。 複数のループで不注意に実装すれば、時間を消費できる。
0.47
Our last contribution is to provide an efficient method for computing this gradient, which can be fully implemented with existing frameworks (PyTorch and mitsuba-2 in our experiments): Theorem 1 Assuming forward mode differentiation is available in the renderer R and reverse mode differentiation is available in the network N , we can compute a stochastic gradient ∂Lreg ∂θ in O(|s||θ|) 我々の最後の貢献は、この勾配の効率的な計算方法を提供することであり、既存のフレームワークで完全に実装できる(実験ではPyTorchとMitsuba-2)。 定理1 レンダラーRで前方モードの微分が利用可能であり、ネットワークNで逆モードの微分が利用可能であるなら、O(|s||θ|) において確率勾配 ∂Lreg ∂θ を計算できる。 0.62
time per image using pre-computed data occupying O((cid:80) O((cid:80)を占有する事前計算データを用いた画像毎の時間 0.62
j |ψj||Ij|) space. j|Ij|) 空間。 0.78
5 5 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
In particular, we stress that computing the gradients of Lreg does not require second-order gradients in the renderer R, which would exceed the capability of all existing differentiable renderers we are aware of. 特に、lregの勾配を計算するにはレンダラーrの2階の勾配を必要としないことを強調する。
訳抜け防止モード: 特に強調するのは lregの勾配を計算する レンダラー r の次数勾配 (second-order gradients) は不要である。 これは私たちが認識している既存の微分可能なレンダラの能力を超えます。
0.62
We leave the proof of this theorem in our supplemental material. 我々はこの定理の証明を補足資料に残している。 0.70
Further speedup Theorem 1 states that it takes time linear to the network size and state dimension to compute the gradients of Lreg. さらにスピードアップ定理1は、lregの勾配を計算するのにネットワークサイズと状態次元に線形な時間を要することを述べる。 0.80
The O(|s||θ|) time cost is affordable for very small rigid-body systems (e g , |s| < 10) but not scalable for larger systems. o(|s||θ|)時間コストは、非常に小さな剛体系(例えば |s| < 10)では安価であるが、より大きなシステムではスケーラブルではない。 0.63
Therefore, we use a slightly different regularizer in our implementation: したがって、我々は実装にわずかに異なる正規化子を使用します。 0.58
Ltrain(θ,D) = Lerror + γ ltrain(θ,d) = lerror + γ 0.81
(cid:107). (cid:107)。 0.78
(12) (cid:88) (12) (cid:88) 0.41
(sj ,ψj ,Ij )∈D (sj ,sj ,Ij )公開されている。 0.55
(cid:107) ∂Lerror (出典:107)∂Lerror 0.67
j ∂ψj j (複数形 js) 0.20
In other words, we instead encourage the state prediction error to be rendering-invariant. 言い換えれば、状態予測エラーをレンダリング不変にすることを推奨するのです。 0.63
It can be seen from the proof in Theorem 1 that this new regularizer requires only O(θ) time to compute its gradients, and we have found empirically that the performance of this new regularizer is comparable to Eqn. 定理 1 の証明から、この新しい正則化子は勾配を計算するのに o(θ) 時間しか必要とせず、この新しい正則化器の性能は eqn に匹敵することを発見した。 0.64
(10) but is much faster. (10)だが、はるかに速い。 0.83
We leave a theoretical analysis of the two regularizers to future work. 2つの正則化器の理論解析を今後の研究に残す。 0.68
4 EXPERIMENTS In this section, we conduct various experiments to study the following questions: • Q1: Is pixelwise loss on videos across rendering domains sufficient for parameter prediction? 4つの実験 • Q1: パラメータ予測に十分なレンダリング領域におけるビデオの画素単位の損失は存在するか? 0.49
• Q2: If pixelwise loss is not good enough, are there other competitive alternatives to the state- • q2:pixelwiseの損失が不十分なら、他の競合の選択肢はあるだろうか? 0.75
prediction loss in our approach? 私たちのアプローチにおける予測損失? 0.66
• Q3: Is the regularizer on rendering gradients in our loss necessary? • q3: 損失の勾配をレンダリングするためのレギュレータは必要か? 0.76
• Q4: How does our approach compare with directly optimizing state discrepancies? • Q4: このアプローチは、状態の相違を直接最適化するのと比べてどうですか? 0.56
• Q5: Is the proposed method applicable to real-world scenarios? • q5:提案手法は現実のシナリオに適用可能か? 0.85
We address the first four questions using the simulation environment described in Sec. 4.1 and answer the last question using a real-world application at the end of this section. Sec.1で記述したシミュレーション環境を用いて,最初の4つの質問に対処し,本節の最後に,実世界のアプリケーションを用いて最後の質問に答える。 0.75
More details about the experiments, including ablation study, can be found in Appendix. アブレーション研究を含む実験の詳細は、Appendixで見ることができる。 0.72
4.1 EXPERIMENTAL SETUP Environments We implement four environments (Fig. 1): a rigid-body environment without contact (quadrotor), a rigid-body environment with contact (cube), an articulated body (hand), and a deformable-body environment (rod). 4.1 実験セット 環境 我々は4つの環境(第1図)を実践する:接触のない剛体環境(クワッドロータ)、接触のある剛体環境(キューブ)、関節のある体(手)、変形可能な体環境(ロッド)。 0.71
Each environment contains a differentiable simulator (Xu et al , 2021; Du et al , 2021b) and a differentiable renderer (Li et al , 2018). 各環境は、微分可能なシミュレータ(Xu et al , 2021; Du et al , 2021b)と微分可能なレンダラー(Li et al , 2018)を含む。 0.74
We deliberately generated the training set in Sec. 3 using a different renderer (Nimier-David et al , 2019) and used different distributions when sampling rendering configurations in the training set and the environments. 異なるレンダラ(nimier-david et al , 2019)を使用して、故意にsec.3のトレーニングセットを作成し、トレーニングセットと環境におけるレンダリング設定のサンプリングに異なるディストリビューションを使用しました。 0.67
Tasks We consider four types of tasks defined on the physical systems in all environments: state estimation, system identification, imitation learning, and visuomotor control. タスク 我々は, 状態推定, システム同定, 模倣学習, visuomotor control の4つの物理システム上で定義されたタスクについて考察する。 0.79
The state estimation task (Sec. 4.2) require a model to predict the state of the physical system from a given image and serves as a prerequisite for the other downstream tasks. 状態推定タスク(sec. 4.2)は、所定の画像から物理システムの状態を予測し、他の下流タスクの前提となるモデルを必要とする。 0.80
The system identification (Sec. 4.3) and imitation learning (Sec. 4.4) tasks aim to recover the system parameters and control signals of a physical system from the video, respectively. システム識別(sec.4.3)と模倣学習(sec.4.4)は,映像から物理システムのシステムパラメータと制御信号をそれぞれ復元することを目的としている。 0.86
Finally, in the visuomotor control task (Appendix), we replace the video with a target image showing the desired state of the physical system and aim to discover the proper control signals that steer the system to the desired state. 最後に、ビジュモータ制御タスク(Appendix)において、物理系の所望の状態を示すターゲット画像に置き換え、所望の状態まで制御する適切な制御信号を見つけることを目的とする。
訳抜け防止モード: 最後に,visuomotor control task ( appendix) において,映像を物理システムの所望の状態を示す対象画像に置き換える。 そして、システムを所望の状態に制御する適切な制御信号を見つけることを目指す。
0.80
In all tasks, we use a photorealistic renderer (Pharr et al , 2016) to generate the target video or image. すべてのタスクにおいて、ターゲットのビデオや画像を生成するためにフォトリアリスティックレンダラー(Pharr et al , 2016)を使用します。 0.71
Baselines We consider two strong baselines: The pixelwise-loss baseline is used by ∇Sim (Murthy et al , 2020), which is the state-of-the-art method for identifying system parameters directly from video inputs. pixelwise-lossのベースラインは、ビデオ入力から直接システムパラメータを識別するための最先端の方法である、sim (murthy et al , 2020) によって使用されている。 0.68
We implement ∇Sim by removing RISP from our method and backpropagating the pixelwise loss on images through differentiable rendering and simulation. 我々は,この手法からRISPを除去し,異なるレンダリングとシミュレーションにより画像の画素単位のロスをバックプロパゲートすることで, .Simを実装した。 0.61
We run this baseline to analyze the limit of pixelwise loss in downstream tasks (Q1). このベースラインを実行して、下流タスクにおける画素単位の損失の限界を分析する(Q1)。 0.67
The second baseline is preceptualloss (Johnson et al , 2016), which replaces the pixelwise loss in ∇Sim with loss functions based on high-level features extracted by a pre-trained CNN. 第2のベースラインはプリセプチュアルロス(Johnson et al , 2016)であり、事前訓練されたCNNによって抽出された高次特徴に基づく損失関数により、シムのピクセル単位の損失を置き換える。 0.68
By comparing this baseline with our method, we can justify why we choose to let RISP predict states instead of other perceputal features (Q2). この基準を我々の方法と比較することにより、RISPが他の知覚的特徴の代わりに状態を予測できるようにする理由を正当化することができる(Q2)。 0.62
6 6 0.43
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
We also include two weak baselines used by ∇Sim : The average baseline is a deterministic method that always returns the average quantity observed from the training set, and the random baseline returns a guess randomly drawn from the data distribution used to generate the training set. 平均ベースラインは常にトレーニングセットから観測された平均値を返す決定論的手法であり、ランダムベースラインはトレーニングセットを生成するために使用されるデータ分布から無作為に引き出された推測を返します。 0.72
We use these two weak baselines to avoid designing environments and tasks that are too trivial to solve. これら2つの弱いベースラインを使用して、解決しづらい環境やタスクの設計を避けます。 0.72
Our methods We consider two versions of our methods in Sec. 3: ours-no-grad implements the domain randomization idea without using the proposed regularizers, and ours is the full approach that includes the regularizer using rendering gradients. ours-no-gradは、提案する正規化子を用いずにドメインランダム化のアイデアを実装しており、我々の手法は、レンダリング勾配を用いた正規化子を含む完全なアプローチである。 0.65
By comparing between them, we aim to better understand the value of the rendering gradients in our proposed method (Q3). これらを比較することで,提案手法のレンダリング勾配値の理解を深める(Q3)。
訳抜け防止モード: それらを比較することで、私たちは 提案手法のレンダリング勾配値(Q3)をよりよく理解する。
0.75
Oracle Throughout our experiments, we also consider an oracle method that directly minimizes the state differences obtained from simulation outputs without further rendering. Oracle の実験を通じて、さらにレンダリングすることなくシミュレーション出力から得られる状態差を直接最小化するオラクル法についても検討した。 0.72
In particular, this oracle sees the ground-truth states for each image in the target video or image, which is inaccessible to all baselines and our methods. 特に、このオラクルは、対象の動画や画像の各画像の基底状態を見ていて、すべてのベースラインやメソッドにアクセスできません。 0.61
We consider this approach to be an oracle because it is a subset of our approach that involve differentiable physics only, but it needs a perfect state-prediction network. このアプローチは、微分可能な物理のみを含むアプローチのサブセットであるため、オラクルであると考えるが、完全な状態予測ネットワークが必要である。 0.65
This oracle can give us an upper bound for the performance of our method (Q4). このオラクルは、私たちのメソッド(q4)のパフォーマンスの上限を与えてくれます。 0.73
Training We build our RISP network and baselines upon a modified version of ResNet-18 (He et al , 2016) and train them with the Adam optimizer (Kingma & Ba, 2014). トレーニング RISPネットワークを構築し、ResNet-18の修正版(He et al , 2016)に基づいてベースラインを構築し、Adam Optimizationr(Kingma & Ba, 2014)でトレーニングします。 0.81
We report more details of our network architecture, training strategies, and hyperparameters in Appendix. ネットワークアーキテクチャ、トレーニング戦略、およびappendixのハイパーパラメータの詳細を報告します。 0.59
4.2 STATE ESTIMATION RESULTS 4.2 状態推定結果 0.65
average random ours-no-grad 平均ランダム ours‐no-grad 0.46
ours quadrotor 我々の quadrotor 0.51
0.5994 ± 0.0000 0.9661 ± 0.7548 0.3114 ± 0.3191 0.1505 ± 0.1163 0.5994 ± 0.0000 0.9661 ± 0.7548 0.3114 ± 0.3191 0.1505 ± 0.1163 0.26
cube 0.5920 ± 0.0000 0.9655 ± 0.8119 0.2805 ± 0.3199 0.1642 ± 0.1887 立方体 0.5920 ± 0.0000 0.9655 ± 0.8119 0.2805 ± 0.3199 0.1642 ± 0.1887 0.47
hand 0.2605 ± 0.0000 0.8323 ± 0.5705 0.1155 ± 0.0505 0.0974 ± 0.0255 手 0.2605 ± 0.0000 0.8323 ± 0.5705 0.1155 ± 0.0505 0.0974 ± 0.0255 0.51
rod 0.9792 ± 0.0000 1.2730 ± 0.7197 0.0201 ± 0.0087 0.0194 ± 0.0048 ロッド 0.9792 ± 0.0000 1.2730 ± 0.7197 0.0201 ± 0.0087 0.0194 ± 0.0048 0.43
Table 1: State estimation results (Sec. 4.2). 表1: 状態推定結果 (sec. 4.2)。 0.87
Each entry in the table reports the mean and standard deviation of the state estimation error computed from 800 images under 4 rendering configurations. 表の各エントリは、800画像から計算された状態推定誤差の平均および標準偏差を4つのレンダリング構成で報告する。 0.79
In this task, we predict the states of the physical system from randomly generated images and report the mean and standard deviation of the state prediction errors in Table 1. 本研究では、ランダムに生成された画像から物理系の状態を予測し、テーブル1における状態予測誤差の平均および標準偏差を報告する。 0.86
Note that we exclude the perceptual-loss and pixelwise-loss baselines as they do not require a state prediction step. 状態予測のステップを必要としないため、知覚損失と画素損失のベースラインは除外する。 0.66
Overall, we find that the state estimation results from our methods are significantly better than all baselines across the board. 全体として、我々の手法による状態推定結果は、ボード全体のすべてのベースラインよりもはるかに優れている。
訳抜け防止モード: 全体としては 我々の方法による 状態推定結果は ボード全体の全てのベースラインより はるかに優れている
0.81
The two weak baselines perform poorly, confirming that this state-estimation task cannot be solved trivially. 2つの弱いベースラインは、この状態推定タスクが自明に解決できないことを確認する。 0.74
We highlight that our method with the rendering-gradient loss predicts the most stable and accurate state of the physical system across the board, which strongly demonstrates that RISP learns to make predictions independent of various rendering configurations. レンダリングの段階的な損失を伴う手法は、ボード全体の物理システムの最も安定かつ正確な状態を予測し、RISPが様々なレンダリング構成に依存しない予測を行うことを強く示している。 0.72
4.3 SYSTEM IDENTIFICATION RESULTS 4.3 システム識別結果 0.67
Our system identification task aims to predict the system parameters of a physical system, e g , mass, density, stiffness, or elasticity, by watching a reference video with known action sequences. 我々のシステム識別タスクは、既知のアクションシーケンスで参照ビデオを見ることで、物理系のシステムパラメータ、例えば質量、密度、剛性、弾力性を予測することを目的としている。 0.72
For each environment, we manually design a sequence of actions and render a reference video of its dynamic motion. 各環境に対して,アクションのシーケンスを手作業で設計し,その動的動作の参照ビデオをレンダリングする。 0.80
Next, we randomly pick an initial guess of the system parameters and run gradient-based optimization using all baselines, our methods, and the oracle. 次に、システムパラメータの初期推定をランダムに選択し、すべてのベースライン、メソッド、およびオラクルを用いて勾配に基づく最適化を実行する。 0.73
We repeat this experiment 4 times with randomly generated rendering conditions and initial guesses and report the mean and standard deviation of each system parameter in Table 2. この実験をランダムに生成されたレンダリング条件と初期推測で4回繰り返し,各システムパラメータの平均および標準偏差を表2で報告する。 0.85
The near-perfect performance of the oracle suggests that these system identification tasks are feasible to solve as long as a reliable state estimation is available. オラクルのほぼ完全なパフォーマンスは、信頼性のある状態推定ができる限り、これらのシステム識別タスクは解決可能であることを示唆している。
訳抜け防止モード: オラクルのほぼ完全なパフォーマンスは これらのシステム識別タスクは、信頼できる状態推定が利用可能である限り、解決可能である。
0.73
Both of our methods outperform almost all baselines by a large margin, sometimes even by orders of magnitude. どちらの方法もほぼすべてのベースラインを大きなマージンで上回り、時には桁違いにも上回っています。 0.60
This is as expected, since the previous task already suggests that our methods can predict states from a target video much more accurate than baselines, which is a crucial prerequisite for solving system identification. 先程の課題は,本手法がベースラインよりもはるかに精度の高い目標映像から状態を予測できることをすでに示唆しているため,システム識別の解決に必須の前提条件である。 0.82
The only exception is in the cube environment, where the pixelwise loss performs surprisingly well. 唯一の例外は立方体環境であり、ピクセル単位の損失は驚くほどよく機能する。 0.74
We hypothesize it may be due to its relatively simple geometry and high contrast from the background (Fig. 1). 我々は、比較的単純な幾何学と背景との高コントラストのためかもしれないと仮定する(図1)。 0.72
7 7 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
random pixelwise-loss perceptual-loss ours-no-grad ランダム pixelwise-loss perceptual-loss ours-no-grad 0.45
ours oracle quadrotor 私たちの神託 quadrotor 0.43
mass 9.22e-2±3.83e-2 7.22e-2±5.26e-2 6.45e-2±5.23e-2 6.07e-2±4.34e-2 1.18e-2±1.93e-2 2.36e-5±2.41e-5 質量 9.22e-2±3.83e-2 7.22e-2±5.26e-2 6.45e-2±5.23e-2 6.07e-2±4.34e-2 1.18e-2±1.93e-2 2.36e-5±2.41e-5 0.41
cube stiffness 2.31e-1±9.57e-2 2.24e-3±1.74e-3 1.16e-1±5.83e-2 1.16e-1±6.20e-2 6.76e-3±7.23e-3 1.15e-3±8.60e-4 立方体 剛性 2.31e-1±9.57e-2 2.24e-3±1.74e-3 1.16e-1±5.83e-2 1.16e-1±6.20e-2 6.76e-3±7.23e-3 1.15e-3±8.60e-4 0.48
hand joint stiffness 5.70e-1±1.62e-1 1.04e-1±9.62e-2 1.10e-1±1.18e-1 4.85e-2±2.16e-2 3.96e-2±2.73e-2 3.92e-3±4.40e-4 手 5.70e-1±1.62e-1 1.04e-1±9.62e-2 1.10e-1±1.18e-1 4.85e-2±2.16e-2 3.96e-2±2.73e-2 3.92e-3±4.40e-4 0.44
rod Young’s modulus 1.30e6±1.35e6 8.50e5±1.42e6 8.32e5±1.43e6 8.78e4±1.52e5 9.31e1±4.21e1 4.36e0±3.57e0 ロッド Young の modulus 1.30e6±1.35e6 8.50e5±1.42e6 8.32e5±1.43e6 8.78e4±1.52e5 9.31e1±4.21e1 4.36e0±3.57e0 0.39
Table 2: System identification results (Sec. 4.3). 表2: システム識別結果(sec. 4.3)。 0.85
Each entry reports the mean and standard deviation of the parameter estimation error computed from 4 random initial guesses and rendering conditions. 各エントリは、4つのランダムな初期推定とレンダリング条件から計算されたパラメータ推定誤差の平均と標準偏差を報告する。 0.74
Figure 3: Imitation learning in the hand environment (Sec. 4.4). 図3: 手作業環境における模倣学習(Sec.4)。 0.73
Given a reference video (bottom row, shown as five intermediate frames), the goal is to reconstruct a sequence of actions that resembles its motion. 参照ビデオ(5つの中間フレームとして示されるボット列)が与えられた場合、その動きに似た一連のアクションを再構築することが目的である。 0.69
We show the motions generated using a randomly chosen initial guess of the actions (top row) and optimized actions using our method with rendering gradients (middle row). 提案手法では,ランダムに選択した動作の初期推定(トップ列)と最適化された動作(中間列)を用いて生成する動作を示す。 0.75
4.4 IMITATION LEARNING RESULTS 4.4 イミメーション学習結果 0.40
Our imitation learning tasks consider the problem of emulating the dynamic motion of a reference video. 我々の模倣学習タスクは、参照ビデオの動的動きをエミュレートする問題を考える。 0.73
The experiment setup is similar to the system identification task except that we swap the known and unknown variables in the environment: The system parameters are now known, and the goal is to infer the unknown sequence of actions from the reference video. 実験のセットアップは、環境中の既知の変数と未知の変数を交換することを除いて、システム識別タスクと似ている: システムパラメータは今や知られており、その目標は、参照ビデオから未知のアクション列を推論することである。 0.73
Note that the cube environment is excluded because it has no control signals. 制御信号がないため、立方体環境は除外される。 0.62
As before, we repeat the experiment in all environments 4 times with randomly generated rendering configurations and initial guesses of the actions. 前述したように、ランダムに生成されたレンダリング設定とアクションの初期推測で、すべての環境で4回実験を繰り返す。 0.72
We report the results in Table 3 and find that our method with rendering gradients (ours in the table) achieves much lower errors, indicating that we resemble the motions in the video much more accurately. 評価の結果を表3で報告し, 映像中の動きがより正確に類似していることを示すために, 勾配(表内の方向)をレンダリングすることで, はるかに低い誤差が達成できることを見出した。 0.74
The errors from pixelwise-loss have smaller variations across rendering domains but are larger than ours, indicating that it struggles to solve this task under all four rendering configurations. 画素単位の誤差はレンダリング領域間で小さいが、我々のものよりも大きいため、4つのレンダリング構成すべてでこの課題を解決するのに苦労している。 0.65
In addition, the oracle finds a sequence of actions leading to more similar motions than our method, but it requires full and accurate knowledge of the state information which is rarely accessible from a video. さらに、このオラクルは我々の方法よりも類似した動作につながる一連のアクションを見つけるが、ビデオからはほとんどアクセスできない状態情報の完全かつ正確な知識が必要である。 0.73
We visualize our results in the hand environment in Fig 3. 図3で、手作業環境での結果を視覚化します。 0.59
4.5 A REAL-WORLD APPLICATION Finally, we evaluate the efficacy of our approach on a real-world application: Given a video of a flying quadrotor, we aim to build its digital twin that replicates the video motion by inferring a reasonable sequence of actions. 4.5 現実の応用 最後に、実世界の応用に対する我々のアプローチの有効性を評価する: 空飛ぶ四重極子のビデオが与えられたら、適切な行動列を推測することによって映像の動きを再現するデジタルツインを構築することを目指している。 0.67
This real-to-sim transfer problem is challenging due to a few reasons: First, the real-world video contains complex textures, materials, and lighting conditions unknown to us and unseen by our differentiable renderer. 第一に、現実世界のビデオには、私たちが知らない複雑なテクスチャ、素材、照明条件が含まれており、われわれの差別化可能なレンダラーには見えない。 0.59
Second, the quadrotor’s real-world dynamics is polluted by environmental noises and intricate aerodynamic effects, which are ignored in our differentiable simulation environment. 第2に、実世界の力学は環境騒音や複雑な空力効果によって汚染され、これは我々の異なるシミュレーション環境で無視される。 0.67
Despite these challenges, our method achieved a qualitatively good result with a standard differentiable rigid-body simulator and renderer, showing its generalizability across これらの課題にもかかわらず、標準的な微分可能な剛体シミュレータとレンダラーで定性的に良い結果を得た。 0.61
8 8 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
average random pixelwise-loss perceptual-loss ours-no-grad 平均ランダム pixelwise-loss perceptual-loss ours-no-grad 0.47
ours oracle quadrotor 28.40 ± 0.00 1120 ± 113 12.65 ± 0.13 25.07 ± 5.76 2.63 ± 1.86 0.79 ± 0.44 私たちの神託 quadrotor 28.40 ± 0.00 1120 ± 113 12.65 ± 0.13 25.07 ± 5.76 2.63 ± 1.86 0.79 ± 0.44 0.36
N/A hand 7.62 ± 0.00 10.27 ± 0.91 6.71 ± 0.07 5.10 ± 1.80 7.12 ± 0.71 1.52 ± 0.18 0.02 ± 0.02 N/A 手 7.62 ± 0.00 10.27 ± 0.91 6.71 ± 0.07 5.10 ± 1.80 7.12 ± 0.71 1.52 ± 0.18 0.02 ± 0.02 0.44
rod 30.20 ± 0.00 29.89 ± 0.61 29.57 ± 0.85 14.61 ± 5.13 0.83 ± 0.35 1.05 ± 0.27 0.28 ± 0.16 ロッド 30.20 ± 0.00 29.89 ± 0.61 29.57 ± 0.85 14.61 ± 5.13 0.83 ± 0.35 1.05 ± 0.27 0.28 ± 0.16 0.43
Table 3: Imitation learning results (Sec. 4.4). 表3: 模倣学習結果(Sec.4)。 0.63
Each entry reports the mean and standard deviation of the state discrepancy computed from 4 randomly generated initial guesses and rendering conditions. 各エントリは、4つのランダムに生成された初期推測とレンダリング条件から計算された状態の不一致の平均と標準偏差を報告する。 0.62
N/A indicates failure of convergence after optimization. N/Aは最適化後の収束の失敗を示す。 0.56
moderate discrepancies in dynamic models and rendering configurations (Fig. 4). 動的モデルとレンダリング設定における適度な相違点(図4) 0.76
Our approach outperforms all baselines by a large margin in this task, which we detail in Appendix. 当社のアプローチは,Appendixで詳述したように,このタスクにおいて,すべてのベースラインを大きなマージンで上回ります。 0.61
Figure 4: Imitation learning in the real-world experiment (Sec. 4.5). 図4:実世界実験における模倣学習(sec. 4.5) 0.82
Given a reference video (top row), the goal is to reconstruct a sequence of actions sent to a virtual quadrotor that resembles its motion. 参照ビデオ(top row)が与えられると、目標は、その動きに類似した仮想のクワッドローターに送られる一連のアクションを再構築することである。 0.64
We illustrate the motions reconstructed using our method (bottom row). 本手法(ボトム行)を用いて再構成した動きについて述べる。 0.59
5 CONCLUSIONS, LIMITATIONS, AND FUTURE WORK 5つの結論,限界,今後の課題 0.62
We proposed a framework that integrates rendering-invariant state-prediction into differentiable simulation and rendering for cross-domain parameter estimation. 本研究では,領域間パラメータ推定のための微分可能シミュレーションとレンダリングにレンダリング不変状態予測を統合するフレームワークを提案する。 0.55
The experiments in simulation and in real world have shown that our method is more robust than pixel-wise or perceptual losses on unseen rendering configurations. シミュレーションおよび実世界における実験により、我々の手法は、見えないレンダリング構成に対する画素ワイドや知覚的損失よりも堅牢であることが示された。 0.65
The additional ablated study further confirms the efficiency and efficacy comes from using the rendering gradients in our RISP network. 追加のアブレーション研究は、rispネットワークのレンダリング勾配を使用することによる効率と有効性をさらに確認します。 0.62
Despite its promising results, RISP still has a few limitations. 有望な結果にもかかわらず、RISPにはいくつかの制限がある。 0.49
Firstly, we require a differentiable simulator that can capture the dynamic model of the object, which may not be available for realworld scenes with intricate dynamics, e g , fluids. まず、オブジェクトの動的モデルをキャプチャできる微分可能シミュレータが必要であるが、これは複雑なダイナミックス、例えば流体を持つ現実世界のシーンでは利用できない。 0.72
A second limitation is that our method requires knowledge of camera parameters, which is not always accessible in a real-world scenario. 第2の制限は、実際のシナリオでは必ずしもアクセスできないカメラパラメータの知識を必要とすることである。 0.76
This limitation can be resolved by incorporating in RISP the gradients for camera parameters available in modern differentiable renderers. この制限は、現代の微分可能なレンダラーで利用可能なカメラパラメータの勾配をRISPに組み込むことで解決できる。 0.68
Lastly, we assume a moderately accurate object geometry is available, which can potentially be relaxed by combining NeRF (Mildenhall et al , 2020) with our approach to infer the geometry. 最後に,NeRF(Mildenhall et al , 2020)と我々の手法を組み合わせて幾何を推測することで緩和できる,適度に正確な物体幾何が可能であると仮定する。 0.77
ACKNOWLEDGMENTS We thank Sai Praveen Bangaru for our discussions on differentiable rendering. 裏書き 差別化可能なレンダリングに関する議論に、Sai Praveen Bangaru氏に感謝します。 0.39
This work was supported by MIT-IBM Watson AI Lab and its member company Nexplore, ONR MURI, DARPA Machine Common Sense program, ONR (N00014-18-1-2847), and Mitsubishi Electric. この研究はMIT-IBM Watson AI LabとNexplore、ONR MURI、DARPA Machine Common Sense Program、ONR (N00014-18-1-2847)、三菱電機によって支援された。 0.73
9 0.0s5.0s10.0s14.4sIn put VideoOurs 9 0.0s5.0s10.0s14.4sIn put VideoOurs 0.26
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
REFERENCES OpenAI: Marcin Andrychowicz, Bowen Baker, Maciek Chociej, Rafal Jozefowicz, Bob McGrew, Jakub Pachocki, Arthur Petron, Matthias Plappert, Glenn Powell, Alex Ray, et al Learning dexterous in-hand manipulation. References OpenAI: Marcin Andrychowicz, Bowen Baker, Maciek Chociej, Rafal Jozefowicz, Bob McGrew, Jakub Pachocki, Arthur Petron, Matthias Plappert, Glenn Powell, Alex Ray, et al Learning dexterous in-hand manipulate。
訳抜け防止モード: 開会記 : マルシン・アンドリュチョヴィチ,ボウエン・ベーカー,マチェク・チョシー, Rafal Jozefowicz, Bob McGrew, Jakub Pachocki, Arthur Petron Matthias Plappert, Glenn Powell, Alex Ray, et al Learning dexterous in - 手操作。
0.71
The International Journal of Robotics Research, 39(1):3–20, 2020. the international journal of robotics research, 39(1):3–20, 2020を参照。 0.79
3 Filipe de Avila Belbute-Peres, Kevin Smith, Kelsey Allen, Josh Tenenbaum, and J Zico Kolter. 3 Filipe de Avila Belbute-Peres、Kevin Smith、Kelsey Allen、Josh Tenenbaum、J Zico Kolter。 0.42
Endto-end differentiable physics for learning and control. 学習と制御のためのエンドツーエンドの微分物理学。 0.52
Advances in Neural Information Processing Systems, 31, 2018. ニューラル情報処理システムの進歩,2018年3月31日。 0.71
2 Jonas Degrave, Michiel Hermans, Joni Dambre, et al A differentiable physics engine for deep 2 ジョナス・デグレイブ、ミキエル・ハーマンズ、ジョニ・ダンブレら、深層用微分可能な物理エンジン 0.47
learning in robotics. ロボット工学を学ぶ。 0.78
Frontiers in neurorobotics, pp. 6, 2019. 神経ロボティクスのフロンティア、2019年6月6日。 0.49
2 Tao Du, Kui Wu, Andrew Spielberg, Wojciech Matusik, Bo Zhu, and Eftychios Sifakis. 2 Tao Du, Kui Wu, Andrew Spielberg, Wojciech Matusik, Bo Zhu, Eftychios Sifakis。 0.40
Functional optimization of fluidic devices with differentiable stokes flow. 異なるストークスフローを有する流体デバイスの機能最適化 0.76
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 39(6), nov 2020. 39(6),2020年11月。 0.68
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3414685.3417 795. doi 10.1145/3414685.3417 795 0.28
URL https://doi.org/10. URL https://doi.org/10。 0.29
1145/3414685.3417795 . 1145/3414685.3417795 . 0.25
3, 4 Tao Du, Josie Hughes, Sebastien Wah, Wojciech Matusik, and Daniela Rus. 3, 4 Tao Du, Josie Hughes, Sebastien Wah, Wojciech Matusik, Daniela Rus 0.38
Underwater soft robot modeling and control with differentiable simulation. 異なるシミュレーションによる水中ソフトロボットのモデリングと制御 0.81
IEEE Robotics and Automation Letters, 6(3): 4994–5001, 2021a. IEEE Robotics and Automation Letters, 6(3): 4994–5001, 2021a。 0.48
doi: 10.1109/LRA.2021.307 0305. 10.1109/LRA.2021.307 0305。 0.22
2 Tao Du, Kui Wu, Pingchuan Ma, Sebastien Wah, Andrew Spielberg, Daniela Rus, and Wojciech Matusik. 2 Tao Du, Kui Wu, Pingchuan Ma, Sebastien Wah, Andrew Spielberg, Daniela Rus, Wojciech Matusik
訳抜け防止モード: 2 タオ・ドゥ、クイ・ウー、ピンチュアン・マ、セバスチャン・ワホ、 andrew spielberg氏、daniela rus氏、wojciech matusik氏。
0.42
DiffPD: Differentiable projective dynamics. diffpd: 微分可能射影力学。 0.27
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 41(2), nov 2021b. 41(2), nov 2021b。 0.36
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3490168. 10.1145/3490168 0.38
URL https://doi.org/10.1 145/3490168. URL https://doi.org/10.1 145/3490168 0.23
2, 6, 14 Chuang Gan, Jeremy Schwartz, Seth Alter, Damian Mrowca, Martin Schrimpf, James Traer, Julian De Freitas, Jonas Kubilius, Abhishek Bhandwaldar, Nick Haber, et al ThreeDWorld: A platform for interactive multi-modal physical simulation. 2, 6, 14 Chuang Gan, Jeremy Schwartz, Seth Alter, Damian Mrowca, Martin Schrimpf, James Traer, Julian De Freitas, Jonas Kubilius, Abhishek Bhandwaldar, Nick Haber, et al ThreeDWorld: インタラクティブなマルチモーダル物理シミュレーションのためのプラットフォーム。 0.64
In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 1), 2021. 第35回ニューラル情報処理システムに関するカンファレンスでは,データセットとベンチマークトラック(ラウンド1)が2021年に開催された。 0.51
2 Moritz Geilinger, David Hahn, Jonas Zehnder, Moritz Bächer, Bernhard Thomaszewski, and Stelian Coros. 2 Moritz Geilinger, David Hahn, Jonas Zehnder, Moritz Bächer, Bernhard Thomaszewski, Stelian Coros 0.39
ADD: Analytically differentiable dynamics for multi-body systems with frictional contact. ADD:摩擦接触を有する多体システムの解析的微分力学 0.79
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 39(6), nov 2020. 39(6),2020年11月。 0.68
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3414685.3417 766. doi: 10.1145/3414685.3417 766。 0.52
URL https://doi.org/10.1 145/3414685.3417766. URL https://doi.org/10.1 145/3414685.3417766 0.20
2 David Hahn, Pol Banzet, James M. Bern, and Stelian Coros. 2 david hahn氏、pol banzet氏、james m. bern氏、stelian coros氏。 0.49
Real2Sim: Visco-elastic parameter estimation from dynamic motion. Real2Sim:動的運動からの粘弾性パラメータ推定 0.79
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 38(6), nov 2019. 第38回(6回)、2019年11月。 0.53
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3355089.3356 548. doi: 10.1145/3355089.3356 548。 0.52
URL https://doi.org/10.1 145/3355089.3356548. URL https://doi.org/10.1 145/3355089.3356548 0.20
2 Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2 he、xiangyu zhang、shaoqing ren、jian sunの開明。 0.48
Deep residual learning for image recognition. 画像認識のための深い残差学習 0.81
In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770–778, 2016. Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770–778, 2016 0.40
7, 14 Yining Hong, Li Yi, Joshua B Tenenbaum, Antonio Torralba, and Chuang Gan. 7, 14 Yining Hong, Li Yi, Joshua B Tenenbaum, Antonio Torralba, Chuang Gan 0.39
PTR: A benchmark for part-based conceptual, relational, and physical reasoning. PTR: 部分ベースの概念的、リレーショナル、物理的推論のためのベンチマーク。 0.66
In Advances In Neural Information Processing Systems, 2021. ニューラル情報処理システム(2021年)の進歩 0.62
2 Yuanming Hu, Luke Anderson, Tzu-Mao Li, Qi Sun, Nathan Carr, Jonathan Ragan-Kelley, and Fredo Durand. 2 Yuanming Hu、Luke Anderson、Tzu-Mao Li、Qi Sun、Nathan Carr、Jonathan Ragan-Kelley、Fredo Durand。
訳抜け防止モード: 2 Yuanming Hu, Luke Anderson, Tzu - Mao Li, Qi Sun ネイサン・カー、ジョナサン・レイガン、ケリー、フレド・デュラン。
0.55
DiffTaichi: Differentiable programming for physical simulation. difftaichi: 物理シミュレーションのための微分可能プログラミング。 0.69
In International Conference on Learning Representations, 2019a. 英語) International Conference on Learning Representations, 2019a 0.80
3 Yuanming Hu, Jiancheng Liu, Andrew Spielberg, Joshua B. Tenenbaum, William T. Freeman, Jiajun Wu, Daniela Rus, and Wojciech Matusik. 3 Yuanming Hu, Jiancheng Liu, Andrew Spielberg, Joshua B. Tenenbaum, William T. Freeman, Jiajun Wu, Daniela Rus, Wojciech Matusik
訳抜け防止モード: 3 yuanming hu, jiancheng liu, andrew spielberg, joshua b. tenenbaum ウィリアム・t・フリーマン、jiajun wu、daniela rus、wojciech matusik。
0.51
ChainQueen: A real-time differentiable physical simulator for soft robotics. ChainQueen: ソフトロボティクス用のリアルタイム微分可能な物理シミュレータ。 0.70
In 2019 International Conference on Robotics and Automation (ICRA), pp. 6265–6271, 2019b. 2019年、International Conference on Robotics and Automation (ICRA), pp. 6265–6271, 2019b。 0.47
doi: 10.1109/ICRA.2019.87 94333. doi: 10.1109/icra.2019.87 94333。 0.36
2 Zhiao Huang, Yuanming Hu, Tao Du, Siyuan Zhou, Hao Su, Joshua B Tenenbaum, and Chuang Gan. 2 Zhiao Huang, Yuanming Hu, Tao Du, Siyuan Zhou, Hao Su, Joshua B Tenenbaum, Chuang Gan
訳抜け防止モード: 2 zhiao huang, yuanming hu, tao du, siyuan zhou, ハオ・スー、ジョシュア・b・テネンバウム、チュアン・ガン。
0.52
PlasticineLab: A soft-body manipulation benchmark with differentiable physics. PlasticineLab: 微分可能な物理を備えたソフトボディ操作ベンチマーク。 0.58
In International Conference on Learning Representations, 2020. 2020年、国際学習表現会議に参加。 0.78
2 10 2 10 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
Stephen James, Paul Wohlhart, Mrinal Kalakrishnan, Dmitry Kalashnikov, Alex Irpan, Julian Ibarz, Sergey Levine, Raia Hadsell, and Konstantinos Bousmalis. Stephen James, Paul Wohlhart, Mrinal Kalakrishnan, Dmitry Kalashnikov, Alex Irpan, Julian Ibarz, Sergey Levine, Raia Hadsell, Konstantinos Bousmalis 0.38
Sim-to-real via sim-to-sim: Dataefficient robotic grasping via randomized-to-canoni cal adaptation networks. sim-to-simによるSim-to-real: ランダム化-カノニカル適応ネットワークによるデータ効率ロボットの把握。 0.44
In 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12619–12629, 2019. 2019年、IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12619–12629, 2019。 0.46
doi: 10.1109/CVPR.2019.01 291. 10.1109/CVPR.2019.01 291。 0.45
14 Wojciech Jarosz, Volker Schönefeld, Leif Kobbelt, and Henrik Wann Jensen. 14 Wojciech Jarosz、Volker Schönefeld、Leif Kobbelt、Henrik Wann Jensen。 0.38
Theory, analysis and applications of 2d global illumination. 2次元大域照明の理論・解析・応用 0.61
31(5), sep 2012. 31-5、2012年9月。 0.42
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/2231816. 10. 1145/2231816 0.32
2231823. URL https://doi.org/10.1 145/2231816.2231823. 2231823. URL https://doi.org/10.1 145/2231816.2231823 0.31
3 Justin Johnson, Alexandre Alahi, and Li Fei-Fei. 3 ジャスティン・ジョンソン、アレクサンドル・アラヒ、リー・フェイ=フェイ。 0.42
Perceptual losses for real-time style transfer and リアルタイム型転送における知覚的損失 0.58
super-resolution. In European conference on computer vision, pp. 694–711. 超解像度。 欧州のコンピュータビジョン会議において、p.694-711。 0.49
Springer, 2016. スプリンガー、2016年。 0.60
6 Diederik P Kingma and Jimmy Ba. 6 ディーデリック・P・キングマとジミー・バ。 0.41
Adam: A method for stochastic optimization. Adam: 確率最適化の方法です。 0.69
arXiv preprint arXiv プレプリント 0.83
arXiv:1412.6980, 2014. arxiv:1412.6980, 2014年。 0.38
7, 14 Tzu-Mao Li, Jaakko Lehtinen, Ravi Ramamoorthi, Wenzel Jakob, and Frédo Durand. 7, 14 Tzu-Mao Li、Jaakko Lehtinen、Ravi Ramamoorthi、Wenzel Jakob、Frédo Durand。 0.39
Anisotropic gaussian mutations for metropolis light transport through hessian-hamiltonian dynamics. ヘシアン・ハミルトニアンダイナミクスによるメトロポリス光輸送の異方性ガウス変異 0.66
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 34(6), oct 2015. 背番号34(6)、2015年10月。 0.51
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/2816795.2818 084. doi: 10.1145/2816795.2818 084。 0.52
URL https: //doi.org/10.1145/28 16795.2818084. URL https: //doi.org/10.1145/28 16795.2818084 0.20
3 Tzu-Mao Li, Miika Aittala, Frédo Durand, and Jaakko Lehtinen. 3 Tzu-Mao Li、Miika Aittala、Frédo Durand、Jaakko Lehtinen。 0.40
Differentiable monte carlo ray tracing through edge sampling. エッジサンプリングによるモンテカルロ線トレーシングの微分可能化 0.63
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 37(6), dec 2018. 37(6), 2018年12月。 0.70
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3272127.3275 109. doi: 10.1145/3272127.3275 109。 0.52
URL https://doi.org/10.1 145/3272127.3275109. URL https://doi.org/10.1 145/3272127.3275109。 0.19
3, 6 Junbang Liang, Ming Lin, and Vladlen Koltun. 3, 6 Junbang Liang、Ming Lin、Vladlen Koltun。 0.36
Differentiable cloth simulation for inverse problems. 逆問題に対する微分可能な布シミュレーション 0.67
Advances in Neural Information Processing Systems, 32, 2019. ニューラル・インフォメーション・プロセッシング・システムズ32, 2019の進歩。 0.49
3, 4 Ilya Loshchilov and Frank Hutter. 3, 4 Ilya LoshchilovとFrank Hutter。 0.61
SGDR: Stochastic gradient descent with warm restarts. SGDR: 温かい再起動を伴う確率勾配降下。 0.67
arXiv preprint arXiv:1608.03983, 2016. arXiv arXiv:1608.03983, 2016 0.40
14 Pingchuan Ma, Tao Du, John Z. Zhang, Kui Wu, Andrew Spielberg, Robert K. Katzschmann, and Wojciech Matusik. 14 Pingchuan Ma, Tao Du, John Z. Zhang, Kui Wu, Andrew Spielberg, Robert K. Katzschmann, Wojciech Matusik
訳抜け防止モード: 14 ピンチュアン・マ、タオ・ドゥ、ジョン・z・チャン、クイ・ウー andrew spielberg氏、robert k. katzschmann氏、wojciech matusik氏。
0.44
DiffAqua: A differentiable computational design pipeline for soft underwater swimmers with shape interpolation. diffaqua: 形状補間のある柔らかい水中スイマーのための微分可能な計算設計パイプライン。 0.75
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 40(4), jul 2021. 39,40(4),ジュール2021。 0.57
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3450626.3459 832. doi: 10.1145/3450626.3459 832。 0.52
URL https://doi.org/10.1 145/3450626.3459832. url https://doi.org/10.1 145/3450626.3459832。 0.36
3 Antoine McNamara, Adrien Treuille, Zoran Popovi´c, and Jos Stam. 3 アントワーヌ・マクナマラ、アドリアン・トレイユ、ゾラン・ポポヴィ、ジョス・スタム。 0.46
Fluid control using the adjoint method. 随伴法による流体制御 0.49
In ACM SIGGRAPH 2004 Papers, SIGGRAPH ’04, pp. 449–456, New York, NY, USA, 2004. acm siggraph 2004 papers, siggraph ’04, pp. 449-456, new york, ny, usa, 2004 (英語) 0.71
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
ISBN 9781450378239. ISBN9781450378239。 0.77
doi: 10.1145/1186562. doi: 10.1145/1186562。 0.64
1015744. URL https://doi.org/10.1 145/1186562.1015744. 1015744. URL https://doi.org/10.1 145/1186562.1015744 0.31
3 Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. 3 Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, Ren Ng 0.39
NeRF: Representing scenes as neural radiance fields for view synthesis. NeRF:ビュー合成のための神経放射場としてシーンを表現する。 0.67
In European conference on computer vision, pp. 405–421. 欧州のコンピュータビジョン会議において、p. 405-421。 0.71
Springer, 2020. スプリンガー、2020年。 0.59
9 J Krishna Murthy, Miles Macklin, Florian Golemo, Vikram Voleti, Linda Petrini, Martin Weiss, Breandan Considine, Jérôme Parent-Lévesque, Kevin Xie, Kenny Erleben, et al gradSim: Differentiable simulation for system identification and visuomotor control. 9 J Krishna Murthy氏、Miles Macklin氏、Florian Golemo氏、Vikram Voleti氏、Linda Petrini氏、Martin Weiss氏、Brandan Considine氏、Jérôme Parent-Lévesque氏、Kevin Xie氏、Kenny Erleben氏、そして、al gradSim氏。
訳抜け防止モード: 9 J Krishna Murthy, Miles Macklin, Florian Golemo, Vikram Voleti Linda Petrini, Martin Weiss, Breandan Considine, Jérôme Parent - Lévesque Kevin Xie, Kenny Erleben, et al gradSim : システム同定とビジュモータ制御のための微分可能シミュレーション
0.63
In International Conference on Learning Representations, 2020. 2020年、国際学習表現会議に参加。 0.78
1, 4, 6, 17 1, 4, 6, 17 0.43
Merlin Nimier-David, Delio Vicini, Tizian Zeltner, and Wenzel Jakob. Merlin Nimier-David, Delio Vicini, Tizian Zeltner, Wenzel Jakob 0.39
Mitsuba 2: A retargetable forward and inverse renderer. mitsuba 2: 前方および逆のレンダラをリターゲティングできる。 0.61
ACM Trans. Graph. ACMトランス。 グラフ。 0.73
, 38(6), nov 2019. 第38回(6回)、2019年11月。 0.53
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/3355089.3356 498. doi: 10.1145/3355089.3356 498。 0.52
URL https://doi.org/10.1 145/3355089.3356498. URL https://doi.org/10.1 145/3355089.3356498 0.20
3, 5, 6 OptiTrack. 3, 5, 6 OptiTrack。 0.62
OptiTrack motion capture systems. OptiTrack モーションキャプチャシステム。 0.69
https://optitrack.co m/. https://optitrack.co m/ 0.32
Accessed: 2021- アクセス:2021年 0.63
10-05. 1 Xue Bin Peng, Marcin Andrychowicz, Wojciech Zaremba, and Pieter Abbeel. 10-05. 1 Xue Bin Peng、Marcin Andrychowicz、Wojciech Zaremba、Pieter Abbeel。 0.35
Sim-to-real transfer of robotic control with dynamics randomization. 動的ランダム化によるロボット制御のシミュレート 0.70
In 2018 IEEE International Conference on Robotics and Automation (ICRA), pp. 3803–3810, 2018. 2018年、IEEE International Conference on Robotics and Automation (ICRA), pp. 3803–3810, 2018。 0.42
doi: 10.1109/ICRA.2018.84 60528. doi: 10.1109/icra.2018.84 60528。 0.33
3 Matt Pharr, Wenzel Jakob, and Greg Humphreys. 3 マット・ファー、ウェンツェル・ヤコブ、グレッグ・ハンフリーズ。 0.44
Physically Based Rendering: From Theory to 物理ベースレンダリング:理論から理論へ 0.70
Implementation. Morgan Kaufmann, 2016. 実装。 モーガン・カウフマン、2016年。 0.55
6 11 6 11 0.43
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
Yi-Ling Qiao, Junbang Liang, Vladlen Koltun, and Ming Lin. Yi-Ling Qiao、Junbang Liang、Vladlen Koltun、Ming Lin。 0.36
Scalable differentiable physics for learning and control. 学習と制御のためのスケーラブルな微分物理学。 0.59
In International Conference on Machine Learning, pp. 7847–7856. 国際機械学習会議, pp. 7847-7856。 0.67
PMLR, 2020. PMLR、2020年。 0.88
3 Yi-Ling Qiao, Junbang Liang, Vladlen Koltun, and Ming C Lin. 3 Yi-Ling Qiao、Junbang Liang、Vladlen Koltun、Ming C Lin。 0.39
Efficient differentiable simulation of articulated bodies. 関節物体の効率的な微分シミュレーション。 0.65
In International Conference on Machine Learning, pp. 8661–8671. international conference on machine learning, pp. 8661-8671 を参照。 0.78
PMLR, 2021a. PMLR 2021a。 0.39
2 Yiling Qiao, Junbang Liang, Vladlen Koltun, and Ming Lin. 2 Yiling Qiao, Junbang Liang, Vladlen Koltun, Ming Lin 0.37
Differentiable simulation of soft ソフトの微分可能シミュレーション 0.74
multi-body systems. マルチボディシステム。 0.71
Advances in Neural Information Processing Systems, 34, 2021b. ニューラル情報処理システム(34,2021b)の進歩 0.70
3 Qualisys. Qualisys motion capture systems. 3 クオリシーズだ Qualisys モーションキャプチャシステム。 0.45
https://www.qualisys .com/. https://www.qualisys .com/ 0.26
Accessed: 2021- アクセス:2021年 0.63
10-05. 1 Prajit Ramachandran, Barret Zoph, and Quoc V Le. 10-05. 1 Prajit Ramachandran、Barret Zoph、Quoc V Le。 0.36
Searching for activation functions. アクティベーション関数の検索。 0.71
arXiv preprint arXiv プレプリント 0.83
arXiv:1710.05941, 2017. arxiv:1710.05941、2017年。 0.36
14 Ravi Ramamoorthi, Dhruv Mahajan, and Peter Belhumeur. 14 Ravi Ramamoorthi、Dhruv Mahajan、Peter Belhumeur。 0.38
A first-order analysis of lighting, shading, and shadows. 照明、陰影、影の1次分析。 0.55
26(1):2–es, jan 2007. 26(1):2-es, jan 2007 0.45
ISSN 0730-0301. ISSN0730-0301。 0.66
doi: 10.1145/1189762.1189 764. doi: 10.1145/1189762.1189 764。 0.52
URL https://doi.org/10.1 145/1189762.1189764. URL https://doi.org/10.1 145/1189762.1189764 0.20
3 Fereshteh Sadeghi and Sergey Levine. 3 Fereshteh SadeghiとSergey Levine。 0.40
CAD2RL: Real single-image flight without a single real image. CAD2RL: 単一の実像のない実像飛行。 0.71
In Robotics: Science and Systems, 2017. In Robotics: Science and Systems, 2017 (英語) 0.83
3 Jie Tan, Tingnan Zhang, Erwin Coumans, Atil Iscen, Yunfei Bai, Danijar Hafner, Steven Bohez, and Vincent Vanhoucke. 3 Jie Tan、Tingnan Zhang、Erwin Coumans、Atil Iscen、Yunfei Bai、Danijar Hafner、Steven Bohez、Vincent Vanhoucke。 0.38
Sim-to-real: Learning agile locomotion for quadruped robots. sim-to-real: 四足ロボットのアジャイルロコモーションを学ぶ。 0.63
In Robotics: Science and Systems, 2018. サイエンス・アンド・システムズ(science and systems)、2018年。 0.49
3 Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, and Pieter Abbeel. 3 josh tobin氏、rachel fong氏、alex ray氏、jonas schneider氏、wojciech zaremba氏、pieter abbeel氏。 0.48
Domain randomization for transferring deep neural networks from simulation to the real world. シミュレーションから実世界へのディープニューラルネットワークの転送のためのドメインランダム化 0.80
In 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 23–30, 2017. 2017年、IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 23–30, 2017。 0.44
doi: 10.1109/IROS.2017.82 02133. doi: 10.1109/iros.2017.82 02133。 0.36
3, 5 Dmitry Ulyanov, Andrea Vedaldi, and Victor Lempitsky. 3, 5 ドミトリー・ウルヤノフ、アンドレア・ヴェダルディ、ヴィクトル・レンピツキー。 0.47
Instance normalization: The missing インスタンスの正規化: the missing 0.70
ingredient for fast stylization. 高速スタイライゼーション用具。 0.46
arXiv preprint arXiv:1607.08022, 2016. arxiv プレプリント arxiv:1607.08022, 2016 0.42
14 Vicon. VICON: Award-winning motion capture systems. 14 ビコン VICON: 受賞したモーションキャプチャシステム。 0.51
https://www.vicon.co m/. https://www.vicon.co m/。 0.24
Ac- cessed: 2021-10-05. アク 2021-10-05年。 0.46
1 Jie Xu, Tao Chen, Lara Zlokapa, Michael Foshey, Wojciech Matusik, Shinjiro Sueda, and Pulkit Agrawal. 1 Jie Xu、Tao Chen、Lara Zlokapa、Michael Foshey、Wojciech Matusik、Sueda真次郎、Pulkit Agrawal。
訳抜け防止モード: 1 Jie Xu, Tao Chen, Lara Zlokapa, Michael Foshey Wojciech Matusik、Sueda真次郎、Pulkit Agrawal。
0.37
An end-to-end differentiable framework for contact-aware robot design. 接触認識ロボット設計のためのエンドツーエンドの差別化フレームワーク 0.54
In Robotics: Science and Systems, 2021. In Robotics: Science and Systems, 2021年。 0.90
2, 6, 14 Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. 2, 6, 14 Jun-Yan Zhu、Taesung Park、Phillip Isola、Alexei A. Efros。 0.43
Unpaired image-to-image translation using cycle-consistent adversarial networks. 周期整合対向ネットワークを用いた不対向画像変換 0.67
In 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2242–2251, 2017. 2017年、IEEE International Conference on Computer Vision (ICCV), pp. 2242–2251, 2017。 0.81
doi: 10.1109/ICCV.2017.24 4. doi: 10.1109/iccv.2017.24 4。 0.40
1 12 1 12 0.43
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
A PROOF OF THE THEOREM For brevity, we remove the summation in Lreg and drop the index j to focus on deriving the gradients of the Frobenius term with respect to the network parameters θ. 簡潔性の定理の証明として、lreg の和を取り除き、ネットワークパラメータ θ に関してフロベニウス項の勾配を導出することに集中するために指数 j を落とす。 0.58
Let G be the Jacobian matrix inside the Frobenius norm, and let i and j be its row and column indices. g をフロベニウスノルム内のヤコビ行列とし、i と j をその行と列のインデックスとする。 0.63
We now derive the gradient of Lreg with respect to the k-th parameter in θ as follows: 現在、θ の k 番目のパラメータに関する lreg の勾配を次のように導出する。 0.71
∂Lreg ∂θk = ∂Lreg ∂θk = 0.36
= = = = ij = = = = ij 0.43
ij (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) ij (cid:88) (cid:88) (cid:88) (cid:88) (cid:88) 0.39
ij i i 2Gij ij 私は 私は 2Gij 0.47
∂Gij ∂θk 2Gij ∂Gij ∂θk 2Gij 0.34
∂Nθ(I)i [ ∂ ∂θk ∂I ∂2Nθ(I)i ∂I∂θk ∂nθ(i)i [ ∂ ∂θk ∂i ∂2nθ(i)i ∂i∂θk 0.37
∂I ∂ψj ] : ∂i ∂∂j ] : 0.38
∂I ∂ψj ], 2Gij[ ∂2Nθ(I)i ∂I∂θk ∂2Nθ(I)i ∂I∂θk ∂i ∂∂j ], 2Gij[ ・2Nθ(I)i ・I・Nθk ・2Nθ(I)i ・I・Nθk 0.34
: ( : (cid:88) (cid:88) : ( : (cid:88)(cid:88) 0.41
j j : 2 ( ∂I 2Gij ∂ψj ∂Nθ(I)i j j : 2 ( 日比2Gij・日比2Gij・日比θ(I)i 0.41
∂I ) ∂i(ぎょうい) ) 0.32
: ∂I ∂ψj ) : ∂i ∂∂j ) 0.38
∂I ∂ψj . (13) ∂i ∂∂j . (13) 0.38
(14) (15) (16) (14) (15) (16) 0.43
(17) The derivation suggests that we can loop over the state dimension (indexed by i) and run backpropagation to obtain ∂Lreg depends on the training data only and remains constant throughout the whole optimization process, so we can pre-compute them (17) この導出は、状態次元をループして(i によってインデックス付けされた) ∂Lreg を得るためにバックプロパゲーションを実行することは、トレーニングデータのみに依存し、最適化プロセス全体を通して一定であり、それらを事前計算することができることを示唆している。 0.49
in the training set, occupying an extra space of O((cid:80)|ψ||I|). トレーニングセットでは、O((cid:80)| ||I|) の余剰空間を占有する。 0.68
Typically, |ψj| is a small number (less 通常 |ψj| は小さい(なし)数である 0.75
∂θ , assuming that all ∂I ∂ψj ∂θ , すべての ∂i ∂∂j を仮定して 0.59
are available. In fact, ∂I ∂ψj 利用可能です。 実際 ∂i ∂ψj は 0.60
than 10 in most of our experiments), so it is affordable to store it with the images generated in the data set. 実験のほとんどで10ドル以下なので、データセットで生成された画像と一緒に保存する方が安上がりです。 0.75
This is also why we prefer a differentiable renderer that offers forward mode differentiation. これはまた、フォワードモードの差別化を提供する差別化可能なレンダラーを好む理由でもある。 0.48
are ready to use, we can implement Eqn. 使用準備が整い、Eqnを実装することができます。 0.56
(17) by two backpropagations for Assuming all ∂I ∂ψj each state dimension i. 17) 各状態次元 i のすべての ∂I ∂ j を仮定する2つのバックプロパゲーション。 0.70
First, backpropagating through N to obtain ∂Nθ (I)i to assemble the adjoint vector (the second summation in Eqn. 第一に、N をバックプロパゲートして ∂Nθ (I)i を得て、随伴ベクトル(Eqn における第二の和)を組み立てる。
訳抜け防止モード: まず N をバックプロパゲートして ∂Nθ () を得る。 I)随伴ベクトルを組み立てる (Eqnの2番目の和)。
0.73
(17)). Finally, we use the adjoint vector to backpropagate again through the second-order partial derivatives ∂2Nθ (I)i . (17)). 最後に、随伴ベクトルを用いて二階部分微分 ∂2nθ (i)i を再びバックプロパゲートする。 0.55
Note that there is no need for looping over k in the second backpropagation. 第二のバックプロパゲーションにおいて k 上をループする必要はないことに注意。 0.74
The total time cost is therefore O(|s||θ|). したがって、総時間費用はO(|s||θ|)である。 0.58
. Next, we use ∂I ∂ψj . 次に ∂i ∂ψj を使用します 0.47
∂I∂θ ∂I 日光東θ ∂i(ぎょうい) 0.26
B IMPLEMENTATION DETAILS B.1 b 実装の詳細 B.1 0.43
ENVIRONMENTS B.1.1 QUADCOPTOR 環境 B.1.1クアドラクタ 0.48
State space We define the physical system of quadcoptor as a rigid body system without contact. 状態空間 クワッドコプターの物理系を接触のない剛体系として定義する。 0.75
We explicitly mark a task as “failed” when the center of the quadcoptor has an Euclidean distance to the origin (0, 0, 0) of over 1000 at anytime. クアッドコプターの中心がいつでも1000以上の原点 (0, 0, 0) までユークリッド距離を持つとき、そのタスクを「失敗」と明示的にマークする。 0.67
We define the state of the quadcoptor as its world position (x, y, z) and rotation angles (yaw, pitch, roll). 我々は、クワッドコプターの状態を世界位置(x, y, z)と回転角(yaw, pitch, roll)として定義する。 0.79
To alleviate the negative impact from the discontinuity of rotation angles, we design the output of the network as: 回転角の不連続性による負の影響を軽減するため、ネットワークの出力を次のように設計する。 0.76
(x, y, z, sin(yaw), sin(pitch), sin(roll), cos(yaw), cos(pitch), cos(roll)), (x, y, z, sin(yaw), sin(pitch), sin(roll), cos(yaw), cos(pitch), cos(roll))) 0.37
(18) and later restore the rotation angles by atan2. (18) その後atan2で回転角を復元します 0.60
Action space The control signals are 4-d representing the torques applied on 4 propellers. アクション空間 制御信号は4つのプロペラに適用されるトルクを表す4-dである。 0.73
The magnitude of control signals is clamped to [−500, 500]. 制御信号の大きさは[−500, 500]にクランプされる。 0.86
Parameter space quadcoptor within [2.8, 3.2). パラメータ空間クワッドコプター [2.8, 3.2)。 0.58
The ground-truth value of the mass is 3. In system identification experiment, we uniformly sample the mass of the 質量の接地値は3。 システム同定実験では、一様に質量をサンプリングする。 0.60
13 13 0.85
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
B.1.2 CUBE State space We define the physical system of cube as a rigid body system with contact. b.1.2立方体 状態空間 立方体の物理系を接触を伴う剛体系として定義する。 0.55
Similar to quadcoptor environment, we design the output of the network as a 9-d vector following 18. クワッドコプタ環境と同様に、ネットワークの出力を18の9次元ベクトルとして設計する。 0.75
Parameter space In cube environment, we adopt a soft contact model paramterized by the spring stiffness kn. パラメータ空間 立方体環境では、春剛性 kn でパラメタ化されたソフトコンタクトモデルを採用する。 0.69
In system identification experiment, we train λk = log10 kn for better numerical stability and performance. システム識別実験では, λk = log10 kn を訓練し, 数値安定性と性能を向上する。 0.77
We uniformly sample λk within [5.5, 6.5). λk を [5.5, 6.5) 内で一様にサンプリングする。 0.52
The ground-truth value of λk is 6. λk の基底値は 6 である。 0.75
B.1.3 HAND State space We define the physical system of hand as an articulated body system powered by (42). b.1.3ハンド 状態空間 手の物理系を (42) を動力とする体系として定義する。 0.56
We fix the palm on the world frame and model the articulations as revolve joints. 世界枠に手のひらを固定し、関節を回転関節としてモデル化する。 0.73
There are 13 joints in this environment, and each joints is clamped within [− π 4 ]. この環境には13の関節があり、各関節は[- π 4 ]に挟まれている。
訳抜け防止モード: この環境には13の関節があります そして各関節は [ − π 4 ] 内でクランプされる。
0.79
We define the state space of hand as 4 , π a 13-d vector representing the angles of each joint {θ1.. 手の状態空間を 4 と定義し、π は各関節 {θ1.} の角度を表す13次元ベクトルである。 0.76
.13}. Action space The hand is controlled by applying torque on each joint. .13}. アクションスペース 各関節にトルクを適用することで手を制御する。 0.63
We paramterize the control signal of each finger at time t by: 時間tにおける各指の制御信号をパラメータ化します。 0.69
(cid:19)(cid:19)(cid :19) (cid:19)(cid:19)(cid :19) 0.37
, (t − δj) , (t − δj) 0.46
1 T (cid:18) 1T (cid:18) 0.39
(cid:18) (cid:18) (cid:18) (cid:18) 0.39
ut = mj sin ut = mj sin 0.43
2π min 1.0, max 2π分 1.0 マックス 0.77
0.0, where 0 ≤ mj ≤ 1 and 0 ≤ δj ≤ 40 denote the action magnitude and action bias of finger j, and T = 40 is the period. 0.0, ここで 0 ≤ mj ≤ 1 かつ 0 ≤ δj ≤ 40 は指 j の作用の大きさと作用バイアスを表し、T = 40 は周期である。 0.61
Parameter space For each finger, we let the joint stiffness of all joints on the finger available for training, making the parameter space a 5-d space. 各指に対するパラメータ空間は、トレーニング用に指上の全ての関節の関節剛性を持たせ、パラメータ空間を5次元空間にする。 0.77
We uniformly sample the joint stiffness within [0.0, 1.0). ジョイント剛性は, [0.0, 1.0] 内で均一に測定した。 0.54
The ground-truth values of the joint stiffness are all 1.0. ジョイント剛性は、すべて1.0である。 0.58
B.1.4 ROD State space We define the physical system of rod as a soft-body dynamics system powered by (6). B.1.4 ROD 状態空間 ロッドの物理系を (6) で駆動するソフトボディダイナミクスシステムとして定義する。 0.65
We fix both ends of the rod and apply a gravity force on it. 棒の両端を固定し、重力力を加えます。 0.50
We define a 10-d state space by evenly selecting 10 sensors along the central spine and track their positions along the vertical direction. 中心軸に沿って10個のセンサを均一に選択し,垂直方向に位置を追跡することで,10次元状態空間を定義する。 0.74
Action space We apply an external force on the center of the rob vertically as the action signal. アクションスペース rob の中央に、アクション信号として垂直に外部力を適用する。 0.73
We clamp the action within [−500, 500). アクションを[−500,500]でクランプする。 0.64
Parameter space. We parameter the rod environment by Young’s modulus E. We train λE = log10 E for better numerical stability and performance. パラメータ空間。 数値安定性と性能向上のためにλE = log10E を訓練する。 0.62
We uniformly sample λE within [4, 7) where the ground-truth value of λE is 5. λEの基底構造値が5である[4, 7]内でλEを均一にサンプリングする。 0.69
B.2 THE RISP NETWORK B.2 RISPネットワーク 0.41
Network setting We build the network upon a modified version of ResNet-18 (10). ネットワーク設定 ResNet-18 (10) の修正版の上にネットワークを構築する。 0.89
All layers are followed by instance normalization (40) without affine parameters, following James et al (15). すべての層は、James et al (15) に従って、アフィンパラメータを含まないインスタンス正規化 (40) で従う。 0.69
Since ReLU degenerates second derivatives to constant values, we replace it with Swish non-linearities (35). relu は二次微分を定数に縮退するため、スウィッシュ非線形性 (35) に置き換える。 0.68
We change the last layer of ResNet-18 backbone to a linear projection layer with the same number of output with the state dimension. 我々はResNet-18のバックボーンの最後の層を、状態次元と同数の出力を持つ線形射影層に変更する。 0.77
Training We use Adam optimizer (18) with a learning rate of 1e-2 and a weight decay of 1e-6 for training. 訓練には1e-2の学習率と1e-6の減量を伴うadam optimizer(18)を用いる。 0.80
The learning rate has a cosine decay scheduler (22). 学習レートは、コサイン減衰スケジューラ(22)を有する。 0.71
We train the network for 100 epochs. 我々は100エポックの ネットワークを訓練する 0.74
We set the batch size to 16 by default. バッチサイズはデフォルトで16に設定しました。 0.76
To avoid model collapse in the early stage of training, we linearly increase the magnitude coefficient of the rendering gradients from 0 to a environment-specific value: we set it to 1 for quadrotor, 20 for cube, 100 for hand, and 30 for rod. トレーニングの初期段階でモデル崩壊を避けるため, レンダリング勾配の等級係数を0から環境固有値に線形に増加させ, 四角形を1, 立方体を20, 手のひらを100, 棒を30に設定した。 0.69
14 14 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
average random pixelwise-loss perceptual-loss ours-no-grad 平均ランダム pixelwise-loss perceptual-loss ours-no-grad 0.47
ours oracle quadrotor 1.38 ± 0.00 63.93 ± 9.44 3.02 ± 1.35 1.59 ± 0.26 1.30 ± 0.15 0.54 ± 0.25 0.15 ± 0.09 私たちの神託 quadrotor 1.38 ± 0.00 63.93 ± 9.44 3.02 ± 1.35 1.59 ± 0.26 1.30 ± 0.15 0.54 ± 0.25 0.15 ± 0.09 0.35
hand 0.23 ± 0.00 0.32 ± 0.06 0.25 ± 0.05 0.28 ± 0.05 0.23 ± 0.06 0.11 ± 0.02 0.002 ± 0.00 手 0.23 ± 0.00 0.32 ± 0.06 0.25 ± 0.05 0.28 ± 0.05 0.23 ± 0.06 0.11 ± 0.02 0.002 ± 0.00 0.51
rod 0.89 ± 0.00 0.87 ± 0.06 0.05 ± 0.01 0.11 ± 0.06 0.04 ± 0.0002 0.04 ± 0.0006 0.01 ± 0.02 ロッド 0.89 ± 0.00 0.87 ± 0.06 0.05 ± 0.01 0.11 ± 0.06 0.04 ± 0.0002 0.04 ± 0.0006 0.01 ± 0.02 0.43
Table 4: Visuomotor control results. 表4: Visuomotor コントロール結果。 0.72
Each entry reports the mean and standard deviation of the state discrepancy computed from 4 randomly generated initial guesses and rendering conditions. 各エントリは、4つのランダムに生成された初期推測とレンダリング条件から計算された状態の不一致の平均と標準偏差を報告する。 0.62
B.3 TRAINING DETAILS We share the same experiment settings across imitation learning, and visuomotor control experiments experiments. b.3 訓練の詳細 我々は、模倣学習と視覚運動制御実験で同じ実験環境を共有している。 0.56
We use RMSProp optimizer with a learning rate of 3e-3 and a momentum of 0.5. 学習速度3e-3,運動量0.5のRMSPropオプティマイザを用いた。 0.65
We optimize the system parameters or the action parameters by 100 iterations. システムパラメータやアクションパラメータを100イテレーションで最適化します。 0.74
C MORE EXPERIMENTS C.1 VISUOMOTOR CONTROL C分子実験 C.1 ビゾモーター制御 0.43
We consider a visuomotor control task defined as follows: given a target image displaying the desired state of the physical system, we optimize a sequence of actions that steer the physical system to the target state from a randomly generated initial state. 物理系の所望の状態を示す対象画像が与えられたとき、ランダムに生成された初期状態から物理系を目標状態へ制御する一連のアクションを最適化する。
訳抜け防止モード: 以下に定義したビジュモータ制御タスクについて考察する。 : 物理的システムの所望の状態を示す対象画像が与えられた場合。 行動の順序を最適化し 物理的システムをランダムに生成された初期状態からターゲット状態にステアリングする。
0.73
We set the target states by selecting them from the ground truth in the imitation learning tasks. 模倣学習タスクにおいて、基礎的真理から選択することで目標状態を設定する。 0.66
We report in Table 4 the state error computed from experiments repeated with various rendering configurations and initial guesses. 表4では、様々なレンダリング構成と初期推測を繰り返した実験から計算された状態エラーを報告する。 0.75
The state error is defined as L1 distances between the desired state and the final state from the simulator. 状態誤差は、所望の状態とシミュレータからの最終状態の間のL1距離として定義される。 0.82
The smaller state error and standard deviation from our methods in Table 4 shows the advantages of our approach over other baselines. テーブル4のメソッドからのエラーや標準偏差は、他のベースラインに対するアプローチの利点を示しています。 0.70
As before, the performance from all methods is capped by the oracle, which requires much more knowledge about the ground-truth state. 前述したように、すべてのメソッドのパフォーマンスはoracleによってカバーされている。
訳抜け防止モード: 前述したように、すべてのメソッドのパフォーマンスはoracleが担っている。 根拠に関する知識をもっと多く必要とします - 真実の状態です。
0.57
C.2 REAL-WORLD EXPERIMENT C.2 リアルウインド実験 0.35
C.2.1 PROBLEM SETUP C.2.1プロブレムセット 0.44
We consider an imitation learning task for the real-world quadrotor. 実世界のクアドロターのための模倣学習タスクについて考察する。 0.47
The imitation learning takes as input the intrinsic and extrinsic parameters of the camera, a real-world quadrotor video clip recorded by the camera, empirical values of the quadrotor’s system parameters, and the geometry of the quadrotor represented as a mesh file. 模倣学習は、カメラの内在的パラメータと外在的パラメータ、カメラによって記録された実世界の四角子ビデオクリップ、四角子のシステムパラメータの実証値、メッシュファイルとして表される四角子の幾何学を入力として行う。
訳抜け防止モード: 模倣学習は、カメラの固有パラメータと外部パラメータを入力する。 カメラで録画された現実世界のクワッドローターのビデオクリップ。 quadrotor のシステムパラメータと、メッシュファイルとして表現された quadrotor の幾何の実験値。
0.68
We aim to recover an action sequence so that the simulated quadrotor resembles the motion in the input video as closely as possible. 動作シーケンスを復元し,シミュレーションにより入力映像の動作を可能な限り近い距離で再現することを目指している。 0.72
C.2.2 EXPERIMENTAL SETUP C.2.2実験セット 0.47
Video recording To obtain a real-world video clip, we set up a calibrated camera with known intrinsic and extrinsic parameters. 実世界のビデオクリップを得るために,本質的パラメータと外生的パラメータが既知のキャリブレーションカメラを設置した。 0.66
During the whole recording procedure, the camera remains a fixed position and pose. 撮影手順全体を通して、カメラは固定された位置とポーズを維持します。 0.67
After we obtain the original video clip, we trim out the leading and tailing frames with little motion and generate the pre-processed video clip with total length of 14.4s and frequency of 10Hz. オリジナルのビデオクリップを入手した後、リードフレームとテーリングフレームを少ない動きでトリミングし、総長さ14.4秒、周波数10Hzのビデオクリップを生成する。 0.66
Quadrotor To replicate a potential deployment, we choose a commercial quadrotor that is publicly available to users. Quadrotor 潜在的なデプロイメントを再現するために、ユーザに公開可能な商用のQuotorを選択します。 0.71
We manually control the quadrotor so that it follows a smooth trajectory. 手動で四角形を制御し、滑らかな軌道を辿る。 0.46
Motion capture (MoCap) system To evaluate the performance of various methods, we also build a MoCap system to log the position and rotation of the quadrotor. モーションキャプチャ(MoCap)システム 様々な手法の性能を評価するため,四角子の位置と回転を記録するMoCapシステムを構築した。 0.76
We attach six reflective markers to the quadrotor so that the MoCap system tracks the local coordinate system spanned by these markers. これらのマーカーに6つの反射マーカーを付加することにより,MoCapシステムは局所座標系を追跡する。 0.79
15 15 0.43
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
Note that we only use MoCap data for test use, it is not necessarily a step in our pipeline, and none of our methods ever used the MoCap data as a dependency. テスト用にのみMoCapデータを使用しますし、パイプラインのステップである必要はなく、MoCapデータを依存性として使用するメソッドもありませんでした。 0.82
Network and dataset details To be consistent with other experiments, we use the same network architecture for RISP as the quadrotor environment. ネットワークとデータセットの詳細 他の実験と整合性を保つために、RISPとクオータ環境は同じネットワークアーキテクチャを使用します。 0.81
We uniformly sample the position and pose ensuring that the quadrotor is observable on the screen. 位置を均一にサンプリングし、四角形がスクリーン上で観測可能であることを保証する。 0.64
Every sampled state comes with a different rendering configuration. サンプル状態には、それぞれ異なるレンダリング構成がある。 0.80
We generate in total 10k data points and divide them by 8:2 for training and testing. トレーニングとテストのために、合計10kのデータポイントを生成し、8:2で分割します。 0.65
C.2.3 IMITATION LEARNING C.2.3 イミメーション学習 0.34
Here we perform the imitation learning task where we reconstruct the action sequence from the realworld video clip. ここでは、実世界のビデオクリップからアクションシーケンスを再構成する模倣学習タスクを実行する。 0.75
This task is much more challenging than the simulated ones. このタスクはシミュレートされたタスクよりもはるかに難しい。 0.69
First, the real-world physics has unpredictable noises that is impossible to be modeled perfectly by the differentiable simulation. まず、現実世界の物理には予測不能なノイズがあり、微分可能なシミュレーションによって完全にモデル化することは不可能である。
訳抜け防止モード: 第一に、現実世界の物理には予測不能なノイズがある 微分可能なシミュレーションで 完璧にモデル化することは不可能です
0.64
Additionally, the real-world video has unseen appearances including but not limited to the lighting source and the floor texture. また、実世界の映像は、照明源や床のテクスチャに限らず、目に見えない外観である。 0.67
It is also noteworthy that the real-world video is exceedingly long which increases the dimension of action sequence dramatically. また、実世界のビデオは、アクションシーケンスの次元を劇的に増大させる、非常に長い。 0.70
In order to solve these challenges, we design a slightly different pipeline of imitation learning for the real-world experiments using RISP. これらの課題を解決するために,我々はrispを用いた実世界実験のための模倣学習のパイプラインを少し異なる方法で設計する。 0.60
We first run RISP on the input video to generate a target trajectory of the quadrotor. まず、入力ビデオ上でrispを実行し、クワッドローターの目標軌道を生成する。
訳抜け防止モード: 入力ビデオで最初にRISPを実行する 四重項の目標軌道を 生成するのです
0.66
Next, we minimize a loss function defined as the difference between the target trajectory and a simulated trajectory from a differentiable quadrotor simulator, with the action at each video frame as the decision variables. 次に、各ビデオフレームでの動作を決定変数として、目標軌道と微分可能二次体シミュレータからの模擬軌道との差として定義される損失関数を最小化する。 0.78
Because this optimization involves many degrees of freedom and a long time horizon, we find a good initial guess crucial. この最適化には、多くの自由度と長い時間的地平線が伴うため、優れた初期推定が不可欠である。 0.62
We initialize the action sequence using the output of a handcrafted controller that attempts to follow the target trajectory. 目標軌道に追従しようとするハンドクラフト制御器の出力を用いて,動作シーケンスを初期化する。 0.79
Such an initial guess ensures the quadrotor stays in the camera’s view and is used by our method and the baselines. このような初期推定は、クオーターがカメラの視野に留まり、我々の方法とベースラインによって使用されることを保証します。 0.63
Figure 5: Imitation learning in the real-world experiment. 図5:現実世界の実験における模倣学習。 0.77
Given a reference video (top), the goal is to reconstruct a sequence of actions that resembles its motion. 参照ビデオ(トップ)が与えられると、ゴールはその動作に類似した一連のアクションを再構築することである。 0.71
We illustrate the motions reconstructed using our method (upper middle), the pixelwise loss (lower middle), and its enhanced variant (bottom). 提案手法(上中)、画素単位の損失(下中中)、拡張変形(ボトム)を用いて再構成した動きについて述べる。
訳抜け防止モード: 提案手法(上中中)を用いて再構成した動きについて述べる。 the pixelwise loss (low middle ) and its enhanced variant ( bottom )
0.79
C.2.4 RESULTS We show the results of the real-world experiment in Fig 5 by visualizing a representative subset of frames. C.2.4 結果 フレームの代表的な部分集合を可視化することにより、実世界のFig 5実験の結果を示す。 0.55
16 16 0.42
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
(a) (b) Figure 6: (a) (b) 図6 0.37
(a) The number of epoch versus loss curves. (a)エポック数と損失曲線の数。 0.61
The solid and dashed curves represent the training curves of ours and ours-no-grad respectively. 固体曲線と破断曲線は、それぞれ我々の訓練曲線を表す。 0.63
The color of the lines indicates the number of rendering configurations in training set where green and orange are 1 and 10, and red curve samples a different rendering configuration for every training data. ラインの色は、緑とオレンジが1と10のトレーニングセットにおけるレンダリング構成の数を示し、赤曲線はトレーニングデータ毎に異なるレンダリング構成をサンプリングする。 0.79
(b) The loss versus Young’s modulus curves. (b)ヤング率曲線とヤング率曲線との損失。 0.75
The orange, blue, green, and gray curves represent the loss landscapes with respect to the Young’s modulus given different temporal sampling rates. オレンジ、ブルー、グリーン、グレーの曲線は、時間的サンプリングレートの異なるヤング率に対して損失の風景を表す。 0.59
The red vertical line shows where the ground-truth Young’s modulus locates. 赤い垂直線は、地平線ヤングのモジュラーの位置を示しています。 0.66
RISP To validate the robustness of our method, we aggressively randomized the rendering configuration so that it differs significantly from the input video. RISP 本手法のロバスト性を検証するため, レンダリング構成を積極的にランダム化し, 入力ビデオと大きく異なるようにした。 0.74
Our method reconstructs a similar dynamic motion without access to the rendering configuration or the exact dynamic model in the input video. 本手法は,入力映像中のレンダリング設定や正確な動的モデルにアクセスせずに,類似した動的動作を再構成する。 0.74
GradSim We compare the pixelwise loss from ∇Sim (26) with our method by sharing the identical rendering configuration and initial guesses. GradSim では,同じレンダリング構成と初期推定値を共有することで,<i>Sim (26) の画素単位の損失を本手法と比較する。 0.67
We observe that the pixelwise loss does not provide valid guidance to the optimization and steers the quadrotor out of the screen immediately. 画素分割損失は最適化への有効なガイダンスを提供しておらず、クワッドローターを直ちに画面から外す。 0.62
We presume the major reason behind the degeneration of pixelwise loss is the assumption of a known rendering configuration in the target domain. 画素損失の退化の背後にある主要な理由は、対象領域における既知のレンダリング構成の仮定である。 0.71
However, such information is generally non-trivial to obtain from a real-world video. しかし、そのような情報は一般に現実世界のビデオから得ることは自明ではない。 0.62
GradSim-Enhanced According to our presumption above, we propose two modifications for improvement: First, we manually tuned the rendering configuration until it appears as close as possible to the real-world video, and second, we provide it with a good initial guess of the action sequence computed based on the ground-truth trajectory recorded from a motion capture system. 第1に,実世界の映像に可能な限り近いように,手作業でレンダリング構成を調整し,第2に,モーションキャプチャシステムから記録された接地軌跡に基づいて算出された動作シーケンスの初期推定を行う。
訳抜け防止モード: GradSim - 強化 上記の予想によると、改善のための2つの修正を提案する。 まず、レンダリング設定を手作業で調整しました。 現実世界の映像にできるだけ近いように見える。 第2に,モーションキャプチャシステムから記録された真実の軌跡に基づいて計算されたアクションシーケンスについて,適切な初期推定を行う。
0.67
Note that the good initial guess from motion capture system is generally impossible to access in real-world applications and is not used in RISP or GradSim. モーションキャプチャシステムからの優れた初期推測は、一般的に現実世界のアプリケーションではアクセスできないため、RISPやGradSimでは使用されない。 0.70
Even with these strong favors, GradSim-Enhanced only recovers the very beginning of the action sequence and ends up with an uncontrollable drifting out of screen. このような強い好意があっても、GradSim-Enhancedはアクションシーケンスの始まりを回復し、コントロール不能な画面からドリフトする。 0.63
C.3 ABLATION STUDY C.3 アブレーション研究 0.58
C.3.1 RENDERING GRADIENTS We study the impact of rendering gradients on the data efficiency by the comparison between ours and ours-no-grad. C.3.1 標識 勾配のレンダリングがデータ効率に与える影響を,私たちと私たちを比べて検討する。 0.63
We reuse the state estimation data sets (Table 1) on quadrotor but vary the number of rendering configurations between 1 and 10. 状態推定データセット(表1)をquadrotor上で再利用するが、レンダリング構成は1から10の間で異なる。 0.76
We then train both of our methods for 100 epochs and report their performances on a test set consisting of 200 randomly states, each of which is augmented by 10 unseen rendering configurations. 次に、両方のメソッドを100エポックでトレーニングし、200のランダムな状態からなるテストセットでパフォーマンスを報告します。
訳抜け防止モード: 次に、両方のメソッドを100エポックでトレーニングし、200のランダムな状態からなるテストセットでパフォーマンスを報告します。 それぞれを10の未確認レンダリング構成で拡張します。
0.70
We show the result on Fig 6a. 結果は図6aで示します。 0.78
The right inset summarizes the performances of ours (solid lines) and ours-no-grad (dashed lines) under varying number of rendering configurations, with the green, orange, and red colors corresponding to results trained on 1, 10, and randomly sampled rendering configurations. 右のインセットは、1,10でトレーニングされた結果に対応する緑、オレンジ、赤の色とランダムにサンプリングされたレンダリング構成で、さまざまなレンダリング構成の下で、私たちの(ソリッドライン)とours-no-grad(ダッシュライン)のパフォーマンスを要約します。 0.65
It is obvious to see that all solid lines reach a lower state estimation loss than their dashed counterparts, indicating that our rendering gradient digs more information out of the same amount of rendering configurations. すべての固体線が破断された線よりも低い状態推定損失に達することは明らかであり、レンダリング勾配が同じレンダリング構成からより多くの情報を引き出すことを示している。 0.75
It is worth noting that with only 10 rendering configurations (orange solid line), our method with rendering gradients 10個のレンダリング構成(オレンジソリッドライン)しかありませんが、この方法ではグラデーションをレンダリングします。 0.68
17 020406080100#epoch0. 150.200.250.300.350. 400.450.500.55lossou rs / 1ours / 10ours / randomours-no-grad / 1ours-no-grad / 10ours-no-grad / random1.041.642.544. 046.341.051.652.554. 056.351.06Young' ;s Modulus0.10.20.30.40 .50.60.7L1 Loss (pbrt vs. redner)Ground-truthF irst and last framesEvery frameEvery 5th frameFirst and middle frames 17 020406080100#epoch0. 150.200.250.350.400. 500.55lossours / 1ours / randomours-no-grad / 1ours-no-grad / 10ours-no-grad / random1.041.642.544. 046.341.051.652.554. 056.351.06Young' ;s Modulus0.10.20.30.50 .60.7L1 Loss (pbrt vs. redner) Ground-Truth First and last frameEvery frameEvery 5th frame First and middle frames
訳抜け防止モード: 17 020406080100#epoch0. 150.200.250.350.350. 500.55lossours / 1ours / 10ours / randomours - no - grad / 1ours - no - grad / 10ours - no - grad / random1.041.642.544. 046.341.051.652.554. 056.351.06Young' ;s Modulus0.10.20.30.40 .50.60.7L1 Loss (pbrt vs. redner) 最後のフレーム すべてフレーム 第5フレーム 第1フレームと中間フレーム
0.36
英語(論文から抽出)日本語訳スコア
Published as a conference paper at ICLR 2022 iclr 2022の会議論文として発表 0.69
achieves a lower loss than the one without but using randomly sampled rendering configurations (red dashed line), which reflects the better data efficiency. ランダムにサンプリングされたレンダリング設定(レッドダッシュライン)を使うことで、データ効率が向上する。
訳抜け防止モード: ランダムにサンプリングされたレンダリング設定(赤いダッシュライン)を使用せずに、損失を少なくする。 これは、より良いデータ効率を反映しています。
0.62
By comparing ours and ours-no-grad from Table 1, 2, 3, and 4, we can see that having the rendering gradients in our approach is crucial to its substantially better performance. 表1,2,3,4の2段階と4段階を比較してみると,我々のアプローチのレンダリング勾配が極めて優れたパフォーマンスに不可欠であることが分かります。 0.63
We stress that having a rendering-invariant state estimation is the core source of generalizability in our approach and the key to success in many downstream tasks. 我々は、レンダリング不変の状態推定が、我々のアプローチにおける一般化可能性のコアソースであり、多くの下流タスクの成功の鍵であることを強調する。
訳抜け防止モード: 私たちはレンダリングを持つことを強調します。 -不変状態推定は我々のアプローチにおける一般化可能性のコア源である ダウンストリームタスクの成功の鍵は
0.63
C.3.2 TEMPORAL SAMPLING RATE C.3.2 テンポラルサンプリングレート 0.45
We study the impact of temporal sampling rate on the performance of RISP using four different sampling strategies: sampling densely on every frame, sampling sparsely on every 5th frame, sampling only on the first and last frames, and sampling only on the first and middle frames. 時間的サンプリング速度がrispの性能に及ぼす影響について,各フレームに密にサンプリングし,第5フレームに分散サンプリングし,第1フレームと第2フレームにのみサンプリングし,第1フレームと第2フレームにのみサンプリングする,という4つの異なるサンプリング戦略を用いて検討した。
訳抜け防止モード: 4つの異なるサンプリング戦略を用いたRISPの性能に及ぼす時間サンプリング率の影響について検討する。 5番目のフレームごとにスパースサンプリングし、最初のフレームと最後のフレームだけをサンプリングします。 1フレームとミドルフレームだけをサンプリングします
0.77
We reuse the system identification task in rod environment and plot the loss landscapes of them around the groundtruth Young’s Modulus in Fig 6b. 我々は,ロッド環境におけるシステム識別タスクを再利用し,フィギュア6bのヤングの地平線周辺での損失景観をプロットする。 0.80
We observe that RISP is robust against different sampling rates due to the same global optima of all curves. RISPは、全ての曲線の同じ大域的最適化のため、異なるサンプリングレートに対して堅牢である。 0.73
Additional, except for the extreme case with substantial information loss (first and last frames), most of the curves are unimodal with one local minimum indicating an easier problem in optimization. さらに、情報損失がかなり大きい極端な場合(第1フレームと第2フレーム)を除いて、曲線のほとんどは非定型であり、最適化の容易な問題を示す1つの局所最小値である。 0.62
Thus, we believe it is safe to expect our method with a standard gradient-based optimizer to succeed under various temporal sampling rates. したがって, 標準勾配を用いた最適化手法が, 種々の時間的サンプリングレートで成功すると期待できる。 0.69
18 18 0.42
                                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。