論文の概要: FAIR: Focused Attention Is All You Need for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2512.11254v2
• Date: Wed, 17 Dec 2025 02:57:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 15:03:26.922696
• Title: FAIR: Focused Attention Is All You Need for Generative Recommendation
• Title（参考訳）: FAIR: ジェネレーティブなレコメンデーションに必要な注意力
• Authors: Longtao Xiao, Haolin Zhang, Guohao Cai, Jieming Zhu, Yifan Wang, Heng Chang, Zhenhua Dong, Xiu Li, Ruixuan Li,
• Abstract要約: 注意を集中した最初の生成的推薦フレームワークを提案する。これは注意スコアを関連文脈に高め、無関係な状況に抑える。 具体的には、(1)標準変換器に組み込まれた集中型注意機構を提案し、QとKの2つの異なる注意重みを学習し、その差を最終的な注意スコアとして計算する。 4つの公開ベンチマークにおけるFAIRの有効性を検証し,既存手法と比較して優れた性能を示した。
• 参考スコア（独自算出の注目度）: 43.65370600297507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, transformer-based generative recommendation has garnered significant attention for user behavior modeling. However, it often requires discretizing items into multi-code representations (e.g., typically four code tokens or more), which sharply increases the length of the original item sequence. This expansion poses challenges to transformer-based models for modeling user behavior sequences with inherent noises, since they tend to overallocate attention to irrelevant or noisy context. To mitigate this issue, we propose FAIR, the first generative recommendation framework with focused attention, which enhances attention scores to relevant context while suppressing those to irrelevant ones. Specifically, we propose (1) a focused attention mechanism integrated into the standard Transformer, which learns two separate sets of Q and K attention weights and computes their difference as the final attention scores to eliminate attention noise while focusing on relevant contexts; (2) a noise-robustness objective, which encourages the model to maintain stable attention patterns under stochastic perturbations, preventing undesirable shifts toward irrelevant context due to noise; and (3) a mutual information maximization objective, which guides the model to identify contexts that are most informative for next-item prediction. We validate the effectiveness of FAIR on four public benchmarks, demonstrating its superior performance compared to existing methods.
• Abstract（参考訳）: 近年,トランスフォーマーを用いた生成レコメンデーションがユーザ行動モデリングに大きな注目を集めている。 しかしながら、アイテムをマルチコード表現(例:通常4つのコードトークン以上)に分割する必要がある場合が多いため、元のアイテムシーケンスの長さが大幅に増加する。 この拡張は、無関係またはうるさいコンテキストに注意を向ける傾向があるため、固有のノイズを伴うユーザ行動シーケンスをモデル化するためのトランスフォーマーベースのモデルに課題をもたらす。 この問題を軽減するため,本研究では,注意を集中した最初の生成的推薦フレームワークであるFAIRを提案する。 具体的には,(1)QとKの2組の注意重みを学習し,その差分を最終的な注意スコアとして算出し,関連する文脈に着目しながら注目ノイズを除去する集中型注意機構,(2)確率的摂動下での安定した注意パターンの維持を奨励するノイズ・ロバスト性目標,(3)次点予測に最も有用な文脈を特定するための相互情報最大化目標を提案する。 4つの公開ベンチマークにおけるFAIRの有効性を検証し,既存手法と比較して優れた性能を示した。

関連論文リスト

• Indirect Attention: Turning Context Misalignment into a Feature [2.3425919199730694]
  この研究は、キーと値が異なるシーケンスやモダリティに由来する、より伝統的なシナリオを探求する。 まず,雑音特性下でのアテンション機構の挙動を解析し,臨界雑音閾値を確立する。 次に, 文脈(キー, 値) の誤定を, 値特徴の有効形としてモデル化し, その誤定によって生じる雑音が, この臨界しきい値を大幅に超えることを示す。 そこで本研究では、コンテキストが不一致なシナリオにおいて、間接的に関連性を推測する改良型アテンション機構であるインダイレクトアテンションを導入する。
  論文  参考訳（メタデータ） (2025-09-30T09:44:00Z)
• Mitigating Attention Hacking in Preference-Based Reward Modeling via Interaction Distillation [62.14692332209628]
  インタラクション蒸留(Interaction Distillation)は、注意レベル最適化によるより適切な嗜好モデリングのための新しいトレーニングフレームワークである。 最先端のRM最適化法と比較して、より安定で一般化可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2025-08-04T17:06:23Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。