論文の概要: Evaluation metrics for behaviour modeling
- arxiv url: http://arxiv.org/abs/2007.12298v1
- Date: Thu, 23 Jul 2020 23:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 12:04:03.682220
- Title: Evaluation metrics for behaviour modeling
- Title(参考訳): 行動モデリングのための評価メトリクス
- Authors: Daniel Jiwoong Im, Iljung Kwak, Kristin Branson
- Abstract要約: 模倣学習を用いて学習した行動生成モデルの評価と比較のための指標を提案し,検討する。
これらの基準は、行動におけるより長い時間的関係を考察し、振る舞いが本質的に予測不可能な性質を持つ場合と関係し、モデルによって生成された行動の全体分布におけるバイアスを強調する。
提案手法は, 生物学者の行動に関する直観と一致し, モデルの評価, バイアスの理解, 新たな研究方向性の提案を可能にした。
- 参考スコア(独自算出の注目度): 2.616915680939834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A primary difficulty with unsupervised discovery of structure in large data
sets is a lack of quantitative evaluation criteria. In this work, we propose
and investigate several metrics for evaluating and comparing generative models
of behavior learned using imitation learning. Compared to the commonly-used
model log-likelihood, these criteria look at longer temporal relationships in
behavior, are relevant if behavior has some properties that are inherently
unpredictable, and highlight biases in the overall distribution of behaviors
produced by the model. Pointwise metrics compare real to model-predicted
trajectories given true past information. Distribution metrics compare
statistics of the model simulating behavior in open loop, and are inspired by
how experimental biologists evaluate the effects of manipulations on animal
behavior. We show that the proposed metrics correspond with biologists'
intuitions about behavior, and allow us to evaluate models, understand their
biases, and enable us to propose new research directions.
- Abstract(参考訳): 大規模データセットの構造を教師なしで発見することの主な困難は、定量的評価基準の欠如である。
本研究では,模倣学習を用いて学習した行動生成モデルの評価と比較のための指標を提案する。
一般的に使用されるモデルログの類似性と比較すると、これらの基準は行動の時間的関係を長くし、行動が本質的に予測不能な性質を持つ場合に関連し、モデルによって生成される行動の全体分布のバイアスを強調する。
ポイントワイドメトリクスは、真の過去の情報が与えられたモデル予測軌跡と比較する。
分布測定は、オープンループの挙動をシミュレートするモデルの統計を比較し、実験生物学者が動物の行動に対する操作の効果を評価する方法に着想を得ている。
提案する指標は,行動に関する生物学者の直観と一致し,モデルを評価し,バイアスを理解し,新たな研究の方向性を提案する。
関連論文リスト
- Faithful Model Evaluation for Model-Based Metrics [22.753929098534403]
モデルに基づくメトリクスの重要度テストの数学的基礎を確立する。
モデルに基づく測定値のサンプル分散を計算するために, 計量モデル誤差を考慮すると, 特定の実験における結論が変化することを示す。
論文 参考訳(メタデータ) (2023-12-19T19:41:33Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Incorporating Heterogeneous User Behaviors and Social Influences for
Predictive Analysis [32.31161268928372]
我々は,行動予測に異質なユーザ行動と社会的影響を取り入れることを目指している。
本稿では,行動シーケンスのコンテキストを考慮したLong-Short Term Memory (LSTM)を提案する。
残差学習に基づくデコーダは、社会的行動表現に基づいて、複数の高次クロス機能を自動的に構築するように設計されている。
論文 参考訳(メタデータ) (2022-07-24T17:05:37Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z) - Comparing merging behaviors observed in naturalistic data with behaviors
generated by a machine learned model [4.879725885276143]
道路走行を事例として検討し,2つの慣れ親しんだ行動現象の存在を定量的に示すための指標を提案する。
最先端機械学習モデルの出力に全く同じ測定値を適用することで、モデルは前者の現象を再現できるが後者は再現できないことを示した。
論文 参考訳(メタデータ) (2021-04-21T12:31:29Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z) - Evaluating the Disentanglement of Deep Generative Models through
Manifold Topology [66.06153115971732]
本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。
複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
論文 参考訳(メタデータ) (2020-06-05T20:54:11Z) - Performance metrics for intervention-triggering prediction models do not
reflect an expected reduction in outcomes from using the model [71.9860741092209]
臨床研究者はしばしばリスク予測モデルの中から選択し評価する。
振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。
予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
論文 参考訳(メタデータ) (2020-06-02T16:26:49Z) - Symbolic Regression Driven by Training Data and Prior Knowledge [0.0]
シンボリック回帰では、分析モデルの探索は、トレーニングデータサンプルで観測された予測誤差によって純粋に駆動される。
本稿では、学習データと所望のモデルが示す特性の事前知識の両方によって駆動される多目的的シンボリック回帰手法を提案する。
論文 参考訳(メタデータ) (2020-04-24T19:15:06Z) - Learning from Aggregate Observations [82.44304647051243]
本研究では,一組のインスタンスに監視信号が与えられる集合観察から学習する問題について検討する。
本稿では,多種多様な集合観測に適合する一般的な確率的枠組みを提案する。
単純な極大解は様々な微分可能なモデルに適用できる。
論文 参考訳(メタデータ) (2020-04-14T06:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。