論文の概要: Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models

• arxiv url: http://arxiv.org/abs/2510.09435v1
• Date: Fri, 10 Oct 2025 14:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:49.293631
• Title: Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
• Title（参考訳）: レコメンデーションモデルにおける直交アライメントのクロスアテンション
• Authors: Hyunin Lee, Yong Zhang, Hoang Vu Nguyen, Xiaoyi Liu, Namyong Park, Christopher Jung, Rong Jin, Yang Wang, Zhigang Wang, Somayeh Sojoudi, Xue Feng,
• Abstract要約: クロスドメインシーケンシャルレコメンデーションは、異なるドメインから収集された異種ユーザ行動シーケンスを整列することを目的としている。 ほとんどの研究者は、クロスアテンションを残差アライメントと解釈し、冗長な情報を取り除き、非冗長な情報を保存することによって出力を生成する。 本稿では,クエリ入力に存在しない新しい情報を相互に関連付ける現象であるorthogonal Alignmentを紹介する。
• 参考スコア（独自算出の注目度）: 32.476422580370375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-domain sequential recommendation (CDSR) aims to align heterogeneous user behavior sequences collected from different domains. While cross-attention is widely used to enhance alignment and improve recommendation performance, its underlying mechanism is not fully understood. Most researchers interpret cross-attention as residual alignment, where the output is generated by removing redundant and preserving non-redundant information from the query input by referencing another domain data which is input key and value. Beyond the prevailing view, we introduce Orthogonal Alignment, a phenomenon in which cross-attention discovers novel information that is not present in the query input, and further argue that those two contrasting alignment mechanisms can co-exist in recommendation models We find that when the query input and output of cross-attention are orthogonal, model performance improves over 300 experiments. Notably, Orthogonal Alignment emerges naturally, without any explicit orthogonality constraints. Our key insight is that Orthogonal Alignment emerges naturally because it improves scaling law. We show that baselines additionally incorporating cross-attention module outperform parameter-matched baselines, achieving a superior accuracy-per-model parameter. We hope these findings offer new directions for parameter-efficient scaling in multi-modal research.
• Abstract（参考訳）: クロスドメインシーケンシャルレコメンデーション(CDSR)は、異なるドメインから収集された異種ユーザ行動シーケンスを調整することを目的としている。 クロスアテンションはアライメントを強化し、レコメンデーションパフォーマンスを向上させるために広く利用されているが、その基盤となるメカニズムは完全には理解されていない。 ほとんどの研究者は、クロスアテンションを残差アライメントと解釈し、入力キーと値である別のドメインデータを参照することにより、余分な情報を取り除き、クエリ入力から非冗長情報を保存することで出力を生成する。 さらに,これら2つのコントラストアライメント機構は,クエリ入力とクロスアライメントの出力が直交している場合,300以上の実験によりモデル性能が向上することが確認された。 特に、直交アライメントは明示的な直交制約なしに自然に現れる。 私たちの重要な洞察は、orthogonal Alignmentが自然に現れるということです。 また,クロスアテンションモジュールを組み込んだベースラインがパラメータマッチングベースラインより優れており,モデル毎の精度が向上していることを示す。 これらの発見が、マルチモーダル研究におけるパラメータ効率のスケーリングの新しい方向性を提供することを期待している。

関連論文リスト

• OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment [61.02595549125661]
  大規模言語モデル(LLM)のアライメントは、複数の人間の好みに対処する際に重要なジレンマに直面します。 我々は、優先順位調整における勾配レベルの対立を解決する革新的なアプローチであるOrthAlignを提案する。 我々はOrthAlignが多重目的アライメント後の34.61%から50.89%の最大単一参照改善を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-29T11:16:30Z)
• RAU: Towards Regularized Alignment and Uniformity for Representation Learning in Recommendation [7.193305599721105]
  スパースアライメントや不均一な均一性問題に対処するために、正規化アライメントと統一性(RAU)を提案する。 RAUはアライメントと統一性のための2つの新しい正規化手法で構成され、より良いユーザ/イテム表現を学習する。
  論文  参考訳（メタデータ） (2025-03-24T03:03:21Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Sequential Recommendation via Adaptive Robust Attention with Multi-dimensional Embeddings [7.207685588038045]
  逐次レコメンデーションモデルは自己認識機構を用いて最先端のパフォーマンスを達成した。 アイテムIDと位置埋め込みのみの使用を超えて移動すると、次の項目を予測するときにかなりの精度が向上する。 モデルの頑健さと一般化を改善するため,レイヤワイドノイズインジェクション(LNI)正則化を用いたミックスアテンション機構を導入する。
  論文  参考訳（メタデータ） (2024-09-08T08:27:22Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Focus the Discrepancy: Intra- and Inter-Correlation Learning for Image Anomaly Detection [13.801572236048601]
  FOD(FOcus-the-Discrepancy)は、異常のパッチワイド、イントラ・イントラ・インター・ディレクレンシーを同時に検出することができる。 本稿では,新たなADフレームワークであるFOcus-the-Discrepancy(FOD)を提案する。
  論文  参考訳（メタデータ） (2023-08-06T01:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。