論文の概要: Joint Metrics Matter: A Better Standard for Trajectory Forecasting
- arxiv url: http://arxiv.org/abs/2305.06292v2
- Date: Wed, 11 Oct 2023 21:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 03:53:38.671540
- Title: Joint Metrics Matter: A Better Standard for Trajectory Forecasting
- Title（参考訳）: Joint Metrics Matter: トラジェクトリ予測のためのより良い標準
- Authors: Erica Weng, Hana Hoshino, Deva Ramanan, Kris Kitani
- Abstract要約: マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価
余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。
本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
- 参考スコア（独自算出の注目度）: 67.1375677218281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-modal trajectory forecasting methods commonly evaluate using
single-agent metrics (marginal metrics), such as minimum Average Displacement
Error (ADE) and Final Displacement Error (FDE), which fail to capture joint
performance of multiple interacting agents. Only focusing on marginal metrics
can lead to unnatural predictions, such as colliding trajectories or diverging
trajectories for people who are clearly walking together as a group.
Consequently, methods optimized for marginal metrics lead to overly-optimistic
estimations of performance, which is detrimental to progress in trajectory
forecasting research. In response to the limitations of marginal metrics, we
present the first comprehensive evaluation of state-of-the-art (SOTA)
trajectory forecasting methods with respect to multi-agent metrics (joint
metrics): JADE, JFDE, and collision rate. We demonstrate the importance of
joint metrics as opposed to marginal metrics with quantitative evidence and
qualitative examples drawn from the ETH / UCY and Stanford Drone datasets. We
introduce a new loss function incorporating joint metrics that, when applied to
a SOTA trajectory forecasting method, achieves a 7\% improvement in JADE / JFDE
on the ETH / UCY datasets with respect to the previous SOTA. Our results also
indicate that optimizing for joint metrics naturally leads to an improvement in
interaction modeling, as evidenced by a 16\% decrease in mean collision rate on
the ETH / UCY datasets with respect to the previous SOTA. Code is available at
\texttt{\hyperlink{https://github.com/ericaweng/joint-metrics-matter}{github.com/ericaweng/joint-metrics-matter}}.
- Abstract（参考訳）: マルチモーダル軌道予測法は、最小平均変位誤差 (ade) やファイナル変位誤差 (fde) といった、複数の相互作用エージェントのジョイント性能を捉えない単一エージェントメトリック (マージメトリック) を用いて一般に評価される。
余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡の分散といった、不自然な予測につながる可能性がある。
その結果, 限界測度に最適化された手法は, 軌道予測研究の進歩に有害な性能を過度に最適化する。
限界メトリクスの限界に対応するため,複数エージェントメトリクス (joint metrics, jade, jfde, および衝突率) に関して,最先端(sota)軌道予測手法の包括的評価を行った。
ETH/UCYデータセットとStanford Droneデータセットから得られた定量的証拠と定性的な例による限界メトリクスとは対照的に,共同測定の重要性を示す。
我々は,SOTAトラジェクトリ予測法を適用した新たな損失関数を導入し,従来のSOTAに対して,ETH/UCYデータセット上でのJADE/JFDEの7%改善を実現した。
また,共同メトリクスの最適化は,eth/ucyデータセットの平均衝突率を16\%低下させることで証明されるように,自然と相互作用モデリングの改善につながることが示唆された。
コードは、texttt{\hyperlink{https://github.com/ericaweng/joint-metrics-matter}{github.com/ericaweng/joint-metrics-matter}}で入手できる。
関連論文リスト
- What is the Right Notion of Distance between Predict-then-Optimize Tasks? [35.842182348661076]
特徴量やラベル次元にのみ依存する従来のデータセット距離は,PtO(Predict-then-then-then)の文脈では情報性が欠如していることが示される。
下流決定の影響を組み込んだ新しいデータセット距離を提案する。
以上の結果から,この決定認識データセット距離は,PtOコンテキストにおける適応成功を効果的に捉えていることが明らかとなった。
論文 参考訳（メタデータ） (2024-09-11T04:13:17Z) - Revisiting Evaluation Metrics for Semantic Segmentation: Optimization
and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。
これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。
ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
論文 参考訳（メタデータ） (2023-10-30T03:45:15Z) - Exogenous Data in Forecasting: FARM -- A New Measure for Relevance
Evaluation [62.997667081978825]
FARM - Forward Relevance Aligned Metricという新しいアプローチを導入する。
我々のフォワード法は、その後のデータポイントの変化を時系列に合わせるために比較する角測度に依存する。
第1の検証ステップとして、FARMアプローチの合成信号・代表信号への適用について述べる。
論文 参考訳（メタデータ） (2023-04-21T15:22:33Z) - Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。
固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。
物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
論文 参考訳（メタデータ） (2023-01-31T16:33:46Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Newer is not always better: Rethinking transferability metrics, their
peculiarities, stability and performance [5.650647159993238]
小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。
共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。
そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
論文 参考訳（メタデータ） (2021-10-13T17:24:12Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳（メタデータ） (2020-09-07T15:14:29Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。