論文の概要: Social-Implicit: Rethinking Trajectory Prediction Evaluation and The
Effectiveness of Implicit Maximum Likelihood Estimation
- arxiv url: http://arxiv.org/abs/2203.03057v1
- Date: Sun, 6 Mar 2022 21:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 03:50:46.846467
- Title: Social-Implicit: Rethinking Trajectory Prediction Evaluation and The
Effectiveness of Implicit Maximum Likelihood Estimation
- Title(参考訳): 社会的指標:軌道予測評価の再考と最大主観的推定の有効性
- Authors: Abduallah Mohamed, Deyao Zhu, Warren Vu, Mohamed Elhoseiny, Christian
Claudel
- Abstract要約: 平均マハラノビス距離(英: Average Mahalanobis Distance、AMD)は、生成したサンプルがどれだけ近いかを測定する計量である。
平均最大固有値(英: Average Maximum Eigenvalue、AMV)は、予測の全体的拡散を定量化する計量である。
本稿では,従来の生成モデルに代えてImplicit Maximum Likelihood Estimation (IMLE)を導入し,そのモデルであるSocial-Implicitを学習する。
- 参考スコア(独自算出の注目度): 21.643073517681973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Best-of-N (BoN) Average Displacement Error (ADE)/ Final Displacement Error
(FDE) is the most used metric for evaluating trajectory prediction models. Yet,
the BoN does not quantify the whole generated samples, resulting in an
incomplete view of the model's prediction quality and performance. We propose a
new metric, Average Mahalanobis Distance (AMD) to tackle this issue. AMD is a
metric that quantifies how close the whole generated samples are to the ground
truth. We also introduce the Average Maximum Eigenvalue (AMV) metric that
quantifies the overall spread of the predictions. Our metrics are validated
empirically by showing that the ADE/FDE is not sensitive to distribution
shifts, giving a biased sense of accuracy, unlike the AMD/AMV metrics. We
introduce the usage of Implicit Maximum Likelihood Estimation (IMLE) as a
replacement for traditional generative models to train our model,
Social-Implicit. IMLE training mechanism aligns with AMD/AMV objective of
predicting trajectories that are close to the ground truth with a tight spread.
Social-Implicit is a memory efficient deep model with only 5.8K parameters that
runs in real time of about 580Hz and achieves competitive results. Interactive
demo of the problem can be seen here
\url{https://www.abduallahmohamed.com/social-implicit-amdamv-adefde-demo}. Code
is available at \url{https://github.com/abduallahmohamed/Social-Implicit}.
- Abstract(参考訳): Best-of-N (BoN) Average Displacement Error (ADE)/ Final Displacement Error (FDE) は軌道予測モデルを評価する上で最もよく用いられる指標である。
しかし、BoNは生成したサンプル全体を定量化せず、結果としてモデルの予測品質と性能が不完全である。
本稿では,この問題に対処するための新しい指標Average Mahalanobis Distance (AMD)を提案する。
AMDは、生成したサンプルがどれだけ近いかを測定する計量である。
また,平均最大固有値(AMV)の指標を導入し,予測の全体的拡散を定量化する。
ADE/FDEは分布シフトに敏感ではないことを示し,AMD/AMVの計測値と異なり,精度の偏りが認められた。
本稿では,従来の生成モデルに代えてImplicit Maximum Likelihood Estimation (IMLE)を導入し,そのモデルであるSocial-Implicitを学習する。
IMLEトレーニングメカニズムは、地上の真実に近い軌道を厳密な広がりで予測するAMD/AMVの目標と一致している。
Social-Implicitは5.8Kのパラメータしか持たないメモリ効率の良いディープモデルで、約580Hzでリアルタイムに動作し、競合する結果が得られる。
この問題のインタラクティブなデモは、https://www.abduallahmohamed.com/social-implicit-amdamv-adefde-demo}で見ることができる。
コードは \url{https://github.com/abduallahmohamed/social-implicit} で入手できる。
関連論文リスト
- Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価
余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。
本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
論文 参考訳(メタデータ) (2023-05-10T16:27:55Z) - Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
我々は,累積モデル組合せ (AMC) という解を提案する。
AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
論文 参考訳(メタデータ) (2023-05-06T20:56:20Z) - nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。
トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。
NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文 参考訳(メタデータ) (2023-04-14T00:45:01Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳(メタデータ) (2022-11-19T16:57:37Z) - What Can Secondary Predictions Tell Us? An Exploration on
Question-Answering with SQuAD-v2.0 [0.0]
我々は、例の黄金のランク(GR)を、根拠となる真実と正確に一致する最も自信のある予測のランクとして定義する。
我々が分析した16の変圧器モデルでは、第2の予測空間における正確に一致した黄金の答えの大部分は、最上位に非常に近い位置にある。
GRIM(Golden Rank Interpolated Median)と呼ばれる,テストセット全体の新しい集計統計を導出する。
論文 参考訳(メタデータ) (2022-06-29T01:17:47Z) - On the Optimization Landscape of Maximum Mean Discrepancy [26.661542645011046]
生成モデルは現実的な信号の生成に成功している。
確率関数は典型的にはこれらのモデルの多くで難解であるため、確率計算を避けるために「単純化」を行うのが一般的である。
特に、彼らが世界規模で非親密な目標を最小化できるのかは理解されていない。
論文 参考訳(メタデータ) (2021-10-26T07:32:37Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Newer is not always better: Rethinking transferability metrics, their
peculiarities, stability and performance [5.650647159993238]
小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。
共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。
そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
論文 参考訳(メタデータ) (2021-10-13T17:24:12Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳(メタデータ) (2021-10-06T13:43:27Z) - A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳(メタデータ) (2021-01-07T19:12:06Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。