論文の概要: Do Sequential Recommendation Benchmarks Really Require Higher-Order Sequence Modelling?

• arxiv url: http://arxiv.org/abs/2608.19833v1
• Date: Thu, 20 Aug 2026 09:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.52366
• Title: Do Sequential Recommendation Benchmarks Really Require Higher-Order Sequence Modelling?
• Title（参考訳）: シークエンシャルレコメンデーションベンチマークは、高次シーケンスモデリングを本当に必要か?
• Abstract要約: 2つの単純直流重み付きペアワイズプローブは高次シーケンス表現を学習しない。 少なくとも1つのプローブは、Amazonの3つのデータセットでeSASRecの再現を15～38%、MovieLens-1Mで4.4%上回るが、MovieLens-20Mで27.3%上回る。 Transformerベースのモデルと強い直流重み付きペアワイズプローブを比較することで、ベンチマークが高次シーケンスモデリングの利得を有意に測定できるかどうかの具体的なテストを提供する。
• 参考スコア（独自算出の注目度）: 42.75384195092179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential recommenders increasingly use language-model architectures designed to capture complex, context-dependent interactions. Yet it remains unclear whether widely used benchmarks actually require this modelling capacity. We investigate this question using two simple, recency-weighted pairwise probes that do not learn higher-order sequence representations: Sequential Rules (SeqRules) and our Probabilistic Collaborative Transition Model (PCTM). Using the evaluation protocol of eSASRec, at least one probe exceeds our eSASRec reproduction by 15-38% on three Amazon datasets and by 4.4% on MovieLens-1M, but trails it by 27.3% on MovieLens-20M. On the four remaining datasets, at least one probe also outperforms our sampled-softmax SASRec reproduction by 9-28%, suggesting that these widely used benchmarks are poorly suited to measuring gains from higher-order sequence modelling. More broadly, comparing Transformer-based models against strong recency-weighted pairwise probes provides a concrete test of whether a benchmark can meaningfully measure gains from higher-order sequence modelling.
• Abstract（参考訳）: 逐次リコメンデータは、複雑なコンテキスト依存のインタラクションをキャプチャするために設計された言語モデルアーキテクチャをますます使います。 しかし、広く使われているベンチマークがこのモデリング能力を必要とするかどうかは不明だ。 逐次規則(SeqRules)と確率的協調遷移モデル(PCTM)という,高次シーケンス表現を学習しない単純な2つのペアワイズプローブを用いて,この問題を考察する。 eSASRecの評価プロトコルを使用することで、少なくとも1つのプローブは、Amazonの3つのデータセットでeSASRecの再現を15～38%、MovieLens-1Mで4.4%上回ったが、MovieLens-20Mでは27.3%上回った。 残りの4つのデータセットでは、少なくとも1つのプローブがサンプル-ソフトマックスSASRecの再現率を9-28%上回り、これらの広く使用されているベンチマークは高次シーケンスモデリングの利得を測定するのに適していないことを示唆している。 より広範に言えば、Transformerベースのモデルと強い直流重み付きペアワイドプローブを比較することは、ベンチマークが高次シーケンスモデリングから得られる利得を有意に測定できるかどうかの具体的なテストを提供する。

関連論文リスト

• The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations [0.0]
  我々は,ブランドレコメンデーションの繰り返し監査のための再利用可能なプロトコルとして,Dice Roll Methodを定式化した。 D-studyでは、探索、確認、厳密な3段階のイテレーションガイダンスが登場している。 3つの独立したコーパスに対する事前登録された外部検証は、障害のない39細胞のうち37細胞においてD-studyの信頼性予測を再現する。
  論文  参考訳（メタデータ） (2026-09-03T16:22:06Z)
• RepBench: Compiling Benchmarks into Capability Representations for Large Language Models [5.276992083399684]
  RepBenchは、機能整合型表現探索のためのベンチマーク地上データ層である。 13,427のベンチマーク論文は、13の家系で182の能力クラスタの分類を出力し、353の公開ベンチマークデータセットを収集すると、94の能力をカバーする46,149の監査済みプローブテキストが生成される。
  論文  参考訳（メタデータ） (2026-07-30T10:56:44Z)
• An Embarrassingly Simple Graph Heuristic Reveals Shortcut-Solvable Benchmarks for Sequential Recommendation [50.09718257952108]
  Sequentialsolvは、シーケンシャルなパターンとセマンティックなアイテム情報を組み合わせたジェネレーティブなレコメンデーターへと移行している。 これらの手法は、しばしば、広く使われている少数のベンチマークで評価され、重要な疑問を提起する: これらのベンチマークは、現代のジェネレーティブレコメンデーターが提供しようとしている高度なモデリング機能を必要としているか? 我々は、意図的な単純なグラフでベンチマーク監査を行い、最後の1つか2つの項目から、数ホップの項目遷移グラフから候補を検索し、項目間類似度でランク付けする。
  論文  参考訳（メタデータ） (2026-05-08T02:00:11Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• SimBA: Simplifying Benchmark Analysis Using Performance Matrices Alone [5.751898432955296]
  SimBAはBenchmark Analysisを単純化するフレームワークである。 SimBAを3つの人気のあるLMベンチマークに適用すると、データセットとモデルが互いに強く関係していることが分かる。 SimBAは、モデルトレーニング中のモデル開発者の効率向上を支援し、データセット作成者が、ベンチマークで既存のデータセットと新たに作成されたデータセットが異なるかどうかを検証する。
  論文  参考訳（メタデータ） (2025-10-20T18:23:27Z)
• David vs. Goliath: A comparative study of different-sized LLMs for code generation in the domain of automotive scenario generation [1.6752458252726459]
  大きな言語モデル(LLM)を持つNL-to-Scenic生成は、少ないデータ、限られたメトリクスに悩まされる。 NL2Scenicは146組のNL/Scenicペアを持つオープンデータセットとフレームワークであり、難易度の高い30ケースのテスト分割とサンプルレトリバーを紹介する。 4つのプロプライエタリ(GPT-4o, GPT-5, Claude-Sonnet-4, Gemini-2.5-pro)と9つのオープンソースコードモデル(Qwen2.5Coder 0.5B-32B; CodeLlama 7B/13B/34B)を評価した。
  論文  参考訳（メタデータ） (2025-10-15T21:37:02Z)
• eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion [45.793127165612745]
  SASRecやBERT4Recのようなトランスフォーマーベースのモデルは、シーケンシャルレコメンデーションの一般的なベースラインとなっている。 我々は、SASRecのトレーニング目標、LiGRトランスフォーマー層、Sampred Softmax Lossを使用する非常に強力なモデルを特定する。 一般的な学術ベンチマークでは、最新の最先端モデルと比較して、eSASRecは23%有効であることが示されている。
  論文  参考訳（メタデータ） (2025-08-08T16:49:03Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
  正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。 精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
  論文  参考訳（メタデータ） (2021-05-27T13:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。