論文の概要: The Hidden Cost of Defaults in Recommender System Evaluation

• arxiv url: http://arxiv.org/abs/2508.21180v1
• Date: Thu, 28 Aug 2025 19:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.861959
• Title: The Hidden Cost of Defaults in Recommender System Evaluation
• Title（参考訳）: リコメンダシステム評価におけるデフォルトの隠れコスト
• Authors: Hannah Berlin, Robin Svahn, Alan Said,
• Abstract要約: RecBoleの内部デフォルト、特に文書化されていない早期停止ポリシーは、Random SearchとBayesian Optimizationを早期に終了できることを示す。 この結果から,隠れたフレームワークロジックは,検索戦略の相違に匹敵する変動性をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hyperparameter optimization is critical for improving the performance of recommender systems, yet its implementation is often treated as a neutral or secondary concern. In this work, we shift focus from model benchmarking to auditing the behavior of RecBole, a widely used recommendation framework. We show that RecBole's internal defaults, particularly an undocumented early-stopping policy, can prematurely terminate Random Search and Bayesian Optimization. This limits search coverage in ways that are not visible to users. Using six models and two datasets, we compare search strategies and quantify both performance variance and search path instability. Our findings reveal that hidden framework logic can introduce variability comparable to the differences between search strategies. These results highlight the importance of treating frameworks as active components of experimental design and call for more transparent, reproducibility-aware tooling in recommender systems research. We provide actionable recommendations for researchers and developers to mitigate hidden configuration behaviors and improve the transparency of hyperparameter tuning workflows.
• Abstract（参考訳）: ハイパーパラメータ最適化はレコメンダシステムの性能向上に重要であるが、その実装は中立的または二次的関心事として扱われることが多い。 本研究では,モデルベンチマークから,広く使用されているレコメンデーションフレームワークであるRecBoleの動作監査に焦点を移す。 RecBoleの内部デフォルト、特に文書化されていない早期停止ポリシーは、Random SearchとBayesian Optimizationを早期に終了できることを示す。 これにより、ユーザーに見えない方法での検索カバレッジが制限される。 6つのモデルと2つのデータセットを用いて、探索戦略を比較し、性能のばらつきと探索経路の不安定性を定量化する。 この結果から,隠れたフレームワークロジックは,検索戦略の相違に匹敵する変動性をもたらすことが判明した。 これらの結果は、フレームワークを実験設計の活発なコンポーネントとして扱うことの重要性を強調し、レコメンデーションシステム研究においてより透明で再現性に配慮したツールを求める。 我々は、隠れた構成の振る舞いを緩和し、ハイパーパラメータチューニングワークフローの透明性を向上させるために、研究者や開発者に実用的なレコメンデーションを提供する。

関連論文リスト

• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Interactive Visualization Recommendation with Hier-SUCB [52.11209329270573]
  本稿では,従来のインタラクションからユーザフィードバックを学習する対話型パーソナライズドビジュアライゼーションレコメンデーション(PVisRec)システムを提案する。 よりインタラクティブで正確なレコメンデーションのために、PVisRec設定における文脈的半帯域であるHier-SUCBを提案する。
  論文  参考訳（メタデータ） (2025-02-05T17:14:45Z)
• Behavior Modeling Space Reconstruction for E-Commerce Search [32.46624795081706]
  検索システムは、ユーザの嗜好とクエリ項目の関連性を静的に組み合わせ、しばしば固定された論理的「and」関係を通じて、ユーザの振舞いをモデル化する。 本稿では、因果グラフとVenn図の両方を用いて、統一レンズを通して既存のアプローチを再検討する。 これらの課題を克服するために,2つのコンポーネントによる探索精度を高め,行動モデリング空間を再構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-30T09:17:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。