論文の概要: CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships
- arxiv url: http://arxiv.org/abs/2207.03586v1
- Date: Thu, 7 Jul 2022 21:28:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 13:33:17.199184
- Title: CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal
Relationships
- Title(参考訳): CausalAgents:因果関係を用いた動き予測のためのロバストネスベンチマーク
- Authors: Rebecca Roelofs, Liting Sun, Ben Caine, Khaled S. Refaat, Ben Sapp,
Scott Ettinger, Wei Chai
- Abstract要約: 既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
- 参考スコア(独自算出の注目度): 8.679073301435265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning models become increasingly prevalent in motion
forecasting systems for autonomous vehicles (AVs), it is critical that we
ensure that model predictions are safe and reliable. However, exhaustively
collecting and labeling the data necessary to fully test the long tail of rare
and challenging scenarios is difficult and expensive. In this work, we
construct a new benchmark for evaluating and improving model robustness by
applying perturbations to existing data. Specifically, we conduct an extensive
labeling effort to identify causal agents, or agents whose presence influences
human driver behavior in any way, in the Waymo Open Motion Dataset (WOMD), and
we use these labels to perturb the data by deleting non-causal agents from the
scene. We then evaluate a diverse set of state-of-the-art deep-learning model
architectures on our proposed benchmark and find that all models exhibit large
shifts under perturbation. Under non-causal perturbations, we observe a
$25$-$38\%$ relative change in minADE as compared to the original. We then
investigate techniques to improve model robustness, including increasing the
training dataset size and using targeted data augmentations that drop agents
throughout training. We plan to provide the causal agent labels as an
additional attribute to WOMD and release the robustness benchmarks to aid the
community in building more reliable and safe deep-learning models for motion
forecasting.
- Abstract(参考訳): 自律走行車(AV)の運動予測システムにおいて機械学習モデルがますます普及するにつれて、モデル予測が安全かつ信頼性があることを保証することが重要である。
しかし、稀で困難なシナリオの長い尾を徹底的にテストするために必要なデータの収集とラベル付けは困難でコストがかかる。
本研究では,既存のデータに摂動を適用することにより,モデルロバスト性の評価と改善のための新しいベンチマークを構築する。
具体的には、Waymo Open Motion Dataset(WOMD)において、人間の運転行動に影響を与える因果的エージェントやエージェントを識別するための広範囲なラベル付けを行い、これらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動させる。
提案するベンチマークで,最先端のディープラーニングモデルアーキテクチャの多種多様な集合を評価した結果,すべてのモデルが摂動下で大きなシフトを示すことがわかった。
非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-38$%である。
次に、トレーニングデータセットサイズの増加や、トレーニング全体を通してエージェントをドロップするターゲットデータ拡張の使用など、モデルの堅牢性を改善するためのテクニックを調査します。
我々は,womdに対する追加属性として因果エージェントラベルを提供し,ロバストネスベンチマークをリリースして,より信頼性の高い,より安全なモーション予測のためのディープラーニングモデルの構築を支援する予定である。
関連論文リスト
- Mitigating Reward Hacking via Information-Theoretic Reward Modeling [70.26019860948114]
本稿では,報酬モデリングのための汎用的で堅牢なフレームワークであるInfoRMを提案する。
我々は,潜伏空間における過最適化と外れ値の相関を同定し,報酬過最適化を検出するための有望なツールとしてInfoRMを確立した。
論文 参考訳(メタデータ) (2024-02-14T17:49:07Z) - A Systematic Approach to Robustness Modelling for Deep Convolutional
Neural Networks [0.294944680995069]
最近の研究は、より大きなモデルが制御された列車やテストセット外のデータに一般化できるかどうかという疑問を提起している。
本稿では,障害発生確率を時間関数としてモデル化する手法を提案する。
コスト、ロバスト性、レイテンシ、信頼性のトレードオフについて検討し、より大きなモデルが敵のロバスト性に大きく寄与しないことを示す。
論文 参考訳(メタデータ) (2024-01-24T19:12:37Z) - QualEval: Qualitative Evaluation for Model Improvement [86.29905469151566]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds [79.00975648564483]
ロボット工学、自動運転車、ナビゲーションなどの分野で使用される軌道予測モデルは、現実のシナリオにおいて課題に直面している。
このデータセットは、ロボットの観点から、すべてのエージェント、シーンイメージ、ポイントクラウドの位置を含む包括的なデータを提供する。
本研究の目的は,ロボットに対するエージェントの将来の位置を,生の感覚入力データを用いて予測することである。
論文 参考訳(メタデータ) (2023-11-05T18:59:31Z) - A Guide for Practical Use of ADMG Causal Data Augmentation [0.0]
これらの課題に対処するためのソリューションとして、因果データ拡張戦略が指摘されている。
異なる設定を考慮したADMG因果拡大法を実験的に検討した。
論文 参考訳(メタデータ) (2023-04-03T09:31:13Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - SRoUDA: Meta Self-training for Robust Unsupervised Domain Adaptation [25.939292305808934]
教師なしドメイン適応(UDA)は、リッチラベルデータセットから学習した知識をラベルなしターゲットデータセットに転送することができる。
本稿では,UDAモデルの対角的ロバスト性を改善するために,SRoUDAというメタ自己学習パイプラインを提案する。
論文 参考訳(メタデータ) (2022-12-12T14:25:40Z) - An Investigation of Smart Contract for Collaborative Machine Learning
Model Training [3.5679973993372642]
協調機械学習(CML)はビッグデータ時代において様々な分野に浸透してきた。
MLモデルのトレーニングには大量の高品質なデータが必要であるため、データのプライバシに関する懸念を取り除く必要がある。
ブロックチェーンに基づいて、スマートコントラクトはデータ保存とバリデーションの自動実行を可能にする。
論文 参考訳(メタデータ) (2022-09-12T04:25:01Z) - SafeAMC: Adversarial training for robust modulation recognition models [53.391095789289736]
通信システムには、Deep Neural Networks(DNN)モデルに依存する変調認識など、多くのタスクがある。
これらのモデルは、逆方向の摂動、すなわち、誤分類を引き起こすために作られた知覚不能な付加音に影響を受けやすいことが示されている。
本稿では,自動変調認識モデルのロバスト性を高めるために,逆方向の摂動を伴うモデルを微調整する逆方向トレーニングを提案する。
論文 参考訳(メタデータ) (2021-05-28T11:29:04Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。