論文の概要: The Hidden Cost of Defaults in Recommender System Evaluation

• arxiv url: http://arxiv.org/abs/2508.21180v1
• Date: Thu, 28 Aug 2025 19:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.861959
• Title: The Hidden Cost of Defaults in Recommender System Evaluation
• Title（参考訳）: リコメンダシステム評価におけるデフォルトの隠れコスト
• Authors: Hannah Berlin, Robin Svahn, Alan Said,
• Abstract要約: RecBoleの内部デフォルト、特に文書化されていない早期停止ポリシーは、Random SearchとBayesian Optimizationを早期に終了できることを示す。 この結果から,隠れたフレームワークロジックは,検索戦略の相違に匹敵する変動性をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperparameter optimization is critical for improving the performance of recommender systems, yet its implementation is often treated as a neutral or secondary concern. In this work, we shift focus from model benchmarking to auditing the behavior of RecBole, a widely used recommendation framework. We show that RecBole's internal defaults, particularly an undocumented early-stopping policy, can prematurely terminate Random Search and Bayesian Optimization. This limits search coverage in ways that are not visible to users. Using six models and two datasets, we compare search strategies and quantify both performance variance and search path instability. Our findings reveal that hidden framework logic can introduce variability comparable to the differences between search strategies. These results highlight the importance of treating frameworks as active components of experimental design and call for more transparent, reproducibility-aware tooling in recommender systems research. We provide actionable recommendations for researchers and developers to mitigate hidden configuration behaviors and improve the transparency of hyperparameter tuning workflows.
• Abstract（参考訳）: ハイパーパラメータ最適化はレコメンダシステムの性能向上に重要であるが、その実装は中立的または二次的関心事として扱われることが多い。 本研究では,モデルベンチマークから,広く使用されているレコメンデーションフレームワークであるRecBoleの動作監査に焦点を移す。 RecBoleの内部デフォルト、特に文書化されていない早期停止ポリシーは、Random SearchとBayesian Optimizationを早期に終了できることを示す。 これにより、ユーザーに見えない方法での検索カバレッジが制限される。 6つのモデルと2つのデータセットを用いて、探索戦略を比較し、性能のばらつきと探索経路の不安定性を定量化する。 この結果から,隠れたフレームワークロジックは,検索戦略の相違に匹敵する変動性をもたらすことが判明した。 これらの結果は、フレームワークを実験設計の活発なコンポーネントとして扱うことの重要性を強調し、レコメンデーションシステム研究においてより透明で再現性に配慮したツールを求める。 我々は、隠れた構成の振る舞いを緩和し、ハイパーパラメータチューニングワークフローの透明性を向上させるために、研究者や開発者に実用的なレコメンデーションを提供する。

関連論文リスト

• Tree of Preferences for Diversified Recommendation [54.183647833064136]
  データバイアスの観点から、多種多様な推薦について検討する。 本研究では,世界知識を活用したゼロショット推論における大規模言語モデル(LLM)の卓越した性能に着想を得て,新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2025-12-24T04:13:17Z)
• Personalized Recommendations via Active Utility-based Pairwise Sampling [1.704905100460915]
  単純かつ直感的なペアワイズ比較から好みを学習するユーティリティベースのフレームワークを提案する。 本研究の中心的な貢献は,嗜好評価のための新規なユーティリティベースアクティブサンプリング戦略である。
  論文  参考訳（メタデータ） (2025-08-12T19:09:33Z)
• LARES: Latent Reasoning for Sequential Recommendation [96.26996622771593]
  本稿では、シークエンシャルレコメンデーションのための新しいスケーラブルなLatent ReasoningフレームワークであるLARESを紹介する。 提案手法では,パラメータの複雑性を増大させることなく推理深度を柔軟に拡張できる再帰的アーキテクチャを用いている。 我々のフレームワークは既存の高度なモデルとのシームレスな互換性を示し、推奨性能をさらに向上させる。
  論文  参考訳（メタデータ） (2025-05-22T16:22:54Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Interactive Visualization Recommendation with Hier-SUCB [52.11209329270573]
  本稿では,従来のインタラクションからユーザフィードバックを学習する対話型パーソナライズドビジュアライゼーションレコメンデーション(PVisRec)システムを提案する。 よりインタラクティブで正確なレコメンデーションのために、PVisRec設定における文脈的半帯域であるHier-SUCBを提案する。
  論文  参考訳（メタデータ） (2025-02-05T17:14:45Z)
• Behavior Modeling Space Reconstruction for E-Commerce Search [32.46624795081706]
  検索システムは、ユーザの嗜好とクエリ項目の関連性を静的に組み合わせ、しばしば固定された論理的「and」関係を通じて、ユーザの振舞いをモデル化する。 本稿では、因果グラフとVenn図の両方を用いて、統一レンズを通して既存のアプローチを再検討する。 これらの課題を克服するために,2つのコンポーネントによる探索精度を高め,行動モデリング空間を再構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-30T09:17:04Z)
• Value Function Decomposition in Markov Recommendation Process [19.082512423102855]
  本稿では,レコメンダ性能を向上させるためのオンライン強化学習フレームワークを提案する。 これらの2つの因子は、元の時間差損失を分解することで、別々に近似できることを示す。 アンタングル学習フレームワークは、より高速な学習と、アクション探索に対する堅牢性の向上により、より正確な推定を実現することができる。
  論文  参考訳（メタデータ） (2025-01-29T04:22:29Z)
• Semantic Codebook Learning for Dynamic Recommendation Models [55.98259490159084]
  動的シーケンシャルレコメンデーション(DSR)は、ユーザの振る舞いに基づいてモデルパラメータを生成し、シーケンシャルレコメンデーションのパーソナライズを改善する。 巨大なパラメータ探索空間と疎結合でノイズの多いユーザ-イテム相互作用の課題に直面するため、生成されたモデルパラメータの適用性が低下する。 Semantic Codebook Learning for Dynamic Recommendation Models (SOLID)フレームワークは、これらの課題に効果的に取り組むことで、DSRの大幅な進歩を示す。
  論文  参考訳（メタデータ） (2024-07-31T19:25:25Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Towards a Theoretical Understanding of Two-Stage Recommender Systems [0.5439020425819]
  プロダクショングレードのレコメンダシステムは、Netflix、Pinterest、Amazonなど、オンラインメディアサービスで使用されている大規模なコーパスに大きく依存している。 最適なレコメンデータシステムに強い収束をもたらす2段階レコメンデータの挙動について検討する。 本研究では,2段階のレコメンデータが,商品の属性や属性が評価に与える影響をカプセル化できることを数値的に示す。
  論文  参考訳（メタデータ） (2024-02-23T21:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。