論文の概要: CVTT: Cross-Validation Through Time

• arxiv url: http://arxiv.org/abs/2205.05393v1
• Date: Wed, 11 May 2022 10:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 03:27:31.413951
• Title: CVTT: Cross-Validation Through Time
• Title（参考訳）: CVTT: 時間を通してのクロスバリデーション
• Authors: Sergey Kolesnikov, Mikhail Andronov
• Abstract要約: 我々は、メソッドの連続的なパフォーマンスをなくすことで、ジョイントデータ-メソッド効果に関する貴重な洞察を失う可能性があると論じる。 提案手法を用いて、一般的なRecSysアルゴリズムの性能を様々なメトリクスやデータセットに対して詳細に分析する。 以上の結果から,モデルの性能は時間とともに著しく変化し,データと評価設定の両方が顕著な影響を及ぼす可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The practical aspects of evaluating recommender systems is an actively discussed topic in the research community. While many current evaluation techniques bring performance down to a single-value metric as a straightforward approach for model comparison, it is based on a strong assumption of the methods' stable performance over time. In this paper, we argue that leaving out a method's continuous performance can lead to losing valuable insight into joint data-method effects. We propose the Cross-Validation Thought Time (CVTT) technique to perform more detailed evaluations, which focus on model cross-validation performance over time. Using the proposed technique, we conduct a detailed analysis of popular RecSys algorithms' performance against various metrics and datasets. We also compare several data preparation and evaluation strategies to analyze their impact on model performance. Our results show that model performance can vary significantly over time, and both data and evaluation setup can have a marked effect on it.
• Abstract（参考訳）: 推薦システム評価の実践的側面は,研究コミュニティにおいて活発に議論されているトピックである。 現在の評価手法の多くは、モデル比較の簡単なアプローチとして、単一値のメトリクスにパフォーマンスをもたらすが、これは時間とともにメソッドの安定したパフォーマンスを強く仮定することに基づいている。 本稿では,手法の連続的な性能をなくすことで,共同データ・メソッド効果の貴重な洞察を失う可能性があると論じる。 本稿では,クロスバリデーション思考時間(CVTT)手法を提案し,より詳細な評価を行い,時間とともにクロスバリデーションのパフォーマンスをモデル化する。 提案手法を用いて、一般的なRecSysアルゴリズムの性能を様々なメトリクスやデータセットに対して詳細に分析する。 また、モデルの性能への影響を分析するために、いくつかのデータ準備と評価戦略を比較した。 その結果、モデルの性能は時間とともに大きく変化し、データと評価のセットアップがそれに顕著な影響を与えうることがわかった。
• 全文 参考訳へのリンク

関連論文リスト

• Early Time-Series Classification Algorithms: An Empirical Comparison [59.82930053437851]
  早期時系列分類(Early Time-Series Classification, ETSC)は、できるだけ少ない測定で時系列のクラスを予測するタスクである。 既存のETSCアルゴリズムを公開データと,新たに導入された2つのデータセットで評価した。
  論文  参考訳（メタデータ） (2022-03-03T10:43:56Z)
• Dataset Condensation with Contrastive Signals [41.195453119305746]
  勾配マッチングに基づくデータセット合成(DC)手法は、データ効率の学習タスクに適用した場合、最先端のパフォーマンスを達成することができる。 本研究では,既存のDC手法が,タスク関連情報がトレーニングデータセットの重要な部分を形成する場合に,ランダム選択法よりも性能が劣ることを示す。 本稿では,クラス間の差異を効果的に捉えるために,損失関数を変更することで,コントラスト信号(DCC)を用いたデータセット凝縮を提案する。
  論文  参考訳（メタデータ） (2022-02-07T03:05:32Z)
• Assessment of Treatment Effect Estimators for Heavy-Tailed Data [70.72363097550483]
  ランダム化制御試験(RCT)における治療効果の客観的評価における中心的な障害は、その性能をテストするための基礎的真理(または検証セット)の欠如である。 この課題に対処するための新しいクロスバリデーションのような方法論を提供する。 本手法は,Amazonサプライチェーンに実装された709RCTに対して評価を行った。
  論文  参考訳（メタデータ） (2021-12-14T17:53:01Z)
• Enhancing Counterfactual Classification via Self-Training [9.484178349784264]
  本研究では, 擬似ラベルによるランダム化試行をシミュレートするために, 観測データ中の有限未確認動作に対して, カテゴリ値で結果を示唆する自己学習アルゴリズムを提案する。 提案アルゴリズムは,合成データセットと実データセットの両方において有効であることを示す。
  論文  参考訳（メタデータ） (2021-12-08T18:42:58Z)
• Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes [10.864821932376833]
  SimCLRやBYOLのような対照的な損失を利用する自己教師型アプローチは、高次元の健康信号に適用できる。 そこで本研究では,SimCLRが下流評価タスクの大部分において,逆数法と完全教師付き手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-13T10:48:17Z)
• Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
  もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。 異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。 ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
  論文  参考訳（メタデータ） (2021-07-28T13:21:27Z)
• Exploring the Efficacy of Automatically Generated Counterfactuals for Sentiment Analysis [17.811597734603144]
  本稿では,データ拡張と説明のためのデファクトデータの自動生成手法を提案する。 いくつかの異なるデータセットに対する包括的な評価と、さまざまな最先端ベンチマークの使用により、我々のアプローチがモデルパフォーマンスを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-29T10:27:01Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions [51.8695223602729]
  機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。 本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。 psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
  論文  参考訳（メタデータ） (2021-04-22T14:36:51Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。