論文の概要: A Worrying Reproducibility Study of Intent-Aware Recommendation Models
- arxiv url: http://arxiv.org/abs/2501.10143v1
- Date: Fri, 17 Jan 2025 12:11:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-20 13:56:57.590722
- Title: A Worrying Reproducibility Study of Intent-Aware Recommendation Models
- Title（参考訳）: インテント・アウェア・レコメンデーション・モデルの注意深い再現性に関する研究
- Authors: Faisal Shehzad, Maurizio Ferrari Dacrema, Dietmar Jannach,
- Abstract要約: 我々は、トップレベルのアウトレットで発行された5つの現代IARSモデルを再現しようと試みている。
従来の非神経レコメンデーションモデルと比較した。
さらに悪いことに、検討されたすべてのIARSアプローチは、少なくとも1つの伝統的なモデルによって一貫して性能が向上していることがわかった。
- 参考スコア（独自算出の注目度）: 12.339884639594626
- License:
- Abstract: Lately, we have observed a growing interest in intent-aware recommender systems (IARS). The promise of such systems is that they are capable of generating better recommendations by predicting and considering the underlying motivations and short-term goals of consumers. From a technical perspective, various sophisticated neural models were recently proposed in this emerging and promising area. In the broader context of complex neural recommendation models, a growing number of research works unfortunately indicates that (i) reproducing such works is often difficult and (ii) that the true benefits of such models may be limited in reality, e.g., because the reported improvements were obtained through comparisons with untuned or weak baselines. In this work, we investigate if recent research in IARS is similarly affected by such problems. Specifically, we tried to reproduce five contemporary IARS models that were published in top-level outlets, and we benchmarked them against a number of traditional non-neural recommendation models. In two of the cases, running the provided code with the optimal hyperparameters reported in the paper did not yield the results reported in the paper. Worryingly, we find that all examined IARS approaches are consistently outperformed by at least one traditional model. These findings point to sustained methodological issues and to a pressing need for more rigorous scholarly practices.
- Abstract（参考訳）: 近年,意図認識推薦システム(IARS)への関心が高まっている。
このようなシステムの約束は、消費者の基本的なモチベーションや短期的な目標を予測し、考慮することで、より良いレコメンデーションを生み出すことができることである。
技術的観点から、この新興で有望な領域において、様々な高度なニューラルネットワークが最近提案された。
複雑なニューラルレコメンデーションモデルの幅広い文脈において、多くの研究が残念ながらそのことを示唆している。
i)そのような作品の再生は困難であり、しばしば
(II)そのようなモデルの真の利点は、例えば、報告された改善は、修正されていないベースラインや弱いベースラインとの比較によって得られたため、現実的には制限される可能性がある。
本研究はIARSにおける最近の研究が同様の影響を受けているかどうかを考察する。
具体的には、トップレベルのアウトレットで公開された5つの現代IARSモデルを再現しようと試み、従来の非神経レコメンデーションモデルと比較した。
2例のうち2例では, 提案したコードを最適パラメータで実行しても, 結果が得られなかった。
さらに悪いことに、検討されたすべてのIARSアプローチは、少なくとも1つの伝統的なモデルによって一貫して性能が向上していることがわかった。
これらの知見は、方法論上の問題と、より厳格な学術的実践の必要性を示唆している。
関連論文リスト
- A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。
従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。
オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
論文 参考訳（メタデータ） (2024-10-19T11:11:09Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Towards Evaluating Transfer-based Attacks Systematically, Practically,
and Fairly [79.07074710460012]
ディープニューラルネットワーク(DNN)の敵対的脆弱性に大きな注目を集めている。
ブラックボックスDNNモデルを騙すための転送ベース手法が増えている。
30以上のメソッドを実装した転送ベースアタックベンチマーク(TA-Bench)を確立する。
論文 参考訳（メタデータ） (2023-11-02T15:35:58Z) - On the Robustness of Generative Retrieval Models: An Out-of-Distribution
Perspective [65.16259505602807]
本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。
実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-06-22T09:18:52Z) - When Newer is Not Better: Does Deep Learning Really Benefit
Recommendation From Implicit Feedback? [34.04060791716633]
最近のニューラルレコメンデーションモデルと従来のレコメンデーションモデルを、暗黙のデータからトップnのレコメンデーションで比較する。
我々の研究は、推奨されるニューラルモデルの相対的な利点とデメリットを照らす。
論文 参考訳（メタデータ） (2023-05-02T22:03:49Z) - Challenges facing the explainability of age prediction models: case
study for two modalities [4.000351859705655]
脳波信号と肺X線に基づく年齢予測における説明可能な人工知能(XAI)の利用について検討した。
我々は、これらのモダリティのモデルを説明する新しい手法のさらなる研究を促進するために、年齢予測モデルを共有している。
論文 参考訳（メタデータ） (2023-03-12T11:51:21Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Operationalizing Specifications, In Addition to Test Sets for Evaluating
Constrained Generative Models [17.914521288548844]
生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。
我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
論文 参考訳（メタデータ） (2022-11-19T06:39:43Z) - Sample Efficient Reinforcement Learning via Model-Ensemble Exploration
and Exploitation [3.728946517493471]
MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。
我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
論文 参考訳（メタデータ） (2021-07-05T07:18:20Z) - Towards Robust and Reliable Algorithmic Recourse [11.887537452826624]
モデルシフトに堅牢なリコースを見つけるための敵対的トレーニングを活用する新しいフレームワークであるRObust Algorithmic Recourse(ROAR)を提案します。
また,モデルシフトにロバストなリコースの構築の重要性を強調する詳細な理論解析を行う。
論文 参考訳（メタデータ） (2021-02-26T17:38:52Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳（メタデータ） (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。