論文の概要: Learning the Predictability of the Future
- arxiv url: http://arxiv.org/abs/2101.01600v1
- Date: Fri, 1 Jan 2021 18:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-16 11:12:54.856042
- Title: Learning the Predictability of the Future
- Title(参考訳): 未来の予測可能性を学ぶ
- Authors: D\'idac Sur\'is, Ruoshi Liu, Carl Vondrick
- Abstract要約: 将来予測可能な、ラベルのない映像から学ぶためのフレームワークを紹介します。
我々のアプローチは、機能が予測可能なデータから学ぶ。
我々の表現はラベルなしのビデオで訓練されているが、可視化は、その表現にアクション階層が現れることを示している。
- 参考スコア(独自算出の注目度): 20.402795690724094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a framework for learning from unlabeled video what is
predictable in the future. Instead of committing up front to features to
predict, our approach learns from data which features are predictable. Based on
the observation that hyperbolic geometry naturally and compactly encodes
hierarchical structure, we propose a predictive model in hyperbolic space. When
the model is most confident, it will predict at a concrete level of the
hierarchy, but when the model is not confident, it learns to automatically
select a higher level of abstraction. Experiments on two established datasets
show the key role of hierarchical representations for action prediction.
Although our representation is trained with unlabeled video, visualizations
show that action hierarchies emerge in the representation.
- Abstract(参考訳): 将来予測できることをラベル付けした動画から学習するためのフレームワークを導入する。
予測する機能に前もってコミットするのではなく、私たちのアプローチは、予測可能な機能のデータから学びます。
双曲幾何学が自然かつコンパクトに階層構造を符号化するという観測に基づいて,双曲空間の予測モデルを提案する。
モデルが最も自信がある場合は、階層の具体的なレベルで予測しますが、モデルに自信がない場合は、より高度な抽象化を自動選択することを学びます。
2つの確立されたデータセットに関する実験は、アクション予測のための階層表現の重要な役割を示している。
我々の表現はラベルなしのビデオで訓練されているが、可視化は、その表現にアクション階層が現れることを示している。
関連論文リスト
- Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
我々は,過去を前提とした将来のセンサ観測の課題を探求する。
マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。
我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
論文 参考訳(メタデータ) (2024-04-17T16:56:31Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - A Control-Centric Benchmark for Video Prediction [69.22614362800692]
本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。
私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。
次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
論文 参考訳(メタデータ) (2023-04-26T17:59:45Z) - Robustness of Demonstration-based Learning Under Limited Data Scenario [54.912936555876826]
実証に基づく学習は、限られたデータシナリオ下で事前訓練された言語モデルの能力を刺激する大きな可能性を示している。
実演と予測の間に明確な整合性がないため、なぜこのような実演が学習プロセスに有益なのかは不明だ。
本稿では,実証に基づくシーケンスラベリングの頑健さを深く掘り下げるために,標準情報から直感的に有用な情報を徐々に取り除き,病理デモを設計する。
論文 参考訳(メタデータ) (2022-10-19T16:15:04Z) - Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。
空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。
実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
論文 参考訳(メタデータ) (2022-03-17T13:08:28Z) - KINet: Unsupervised Forward Models for Robotic Pushing Manipulation [8.572983995175909]
キーポイント表現に基づいたオブジェクトインタラクションを推論する、教師なしフレームワークKINetを紹介します。
我々のモデルは、オブジェクトとキーポイント座標を関連付けることを学び、システムのグラフ表現を発見する。
キーポイント空間における物理的推論を学習することにより、我々のモデルは、異なる数のオブジェクトを持つシナリオに自動的に一般化する。
論文 参考訳(メタデータ) (2022-02-18T03:32:08Z) - FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。
FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
論文 参考訳(メタデータ) (2021-06-24T17:20:21Z) - Machine-Generated Hierarchical Structure of Human Activities to Reveal
How Machines Think [0.0]
人間の行動認識のための階層的ラベリングシステムの構築の重要性と実現可能性について議論する。
ブラックボックスharモデルの予測を用いて,異なる活動間の類似性を同定する。
このシステムでは、同じレベルのアクティビティラベルは、設計された精度の大きさを持ち、特定の量のアクティビティの詳細を反映します。
論文 参考訳(メタデータ) (2021-01-19T20:40:22Z) - Latent Representation Prediction Networks [0.0]
満足できない表現を学習するこの原則を見いだす。
本稿では,この表現を予測関数とともに学習する新しい方法を提案する。
提案手法は, 標準強化学習法よりもサンプリング効率がよいことを示す。
論文 参考訳(メタデータ) (2020-09-20T14:26:03Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。