論文の概要: How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

• arxiv url: http://arxiv.org/abs/2602.10622v1
• Date: Wed, 11 Feb 2026 08:12:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.569398
• Title: How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
• Title（参考訳）: デコーダのみのLLMはどのようにユーザを知覚するか? : ユーザ表現学習のための意識マスキングを再考する
• Authors: Jiahao Yuan, Yike Xu, Jinyong Wen, Baokun Wang, Yang Chen, Xiaotong Lin, Wuliang Huang, Ziyi Gao, Xing Fu, Yu Cheng, Weiqiang Wang,
• Abstract要約: 我々は,一貫したコントラスト学習枠組みの中で,因果・ハイブリッド・双方向の注意マスクを体系的に研究する。 因果性から双方向性への注意を移行する際のトレーニングダイナミクスを改善するために,グラディエントガイド型ソフトマスキングを提案する。 我々のアプローチは、因果関係、ハイブリッド、スケジューラのみのベースラインと比較して、より安定したトレーニングと高品質な双方向表現をもたらす。
• 参考スコア（独自算出の注目度）: 27.056939968973154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoder-only large language models are increasingly used as behavioral encoders for user representation learning, yet the impact of attention masking on the quality of user embeddings remains underexplored. In this work, we conduct a systematic study of causal, hybrid, and bidirectional attention masks within a unified contrastive learning framework trained on large-scale real-world Alipay data that integrates long-horizon heterogeneous user behaviors. To improve training dynamics when transitioning from causal to bidirectional attention, we propose Gradient-Guided Soft Masking, a gradient-based pre-warmup applied before a linear scheduler that gradually opens future attention during optimization. Evaluated on 9 industrial user cognition benchmarks covering prediction, preference, and marketing sensitivity tasks, our approach consistently yields more stable training and higher-quality bidirectional representations compared with causal, hybrid, and scheduler-only baselines, while remaining compatible with decoder pretraining. Overall, our findings highlight the importance of masking design and training transition in adapting decoder-only LLMs for effective user representation learning. Our code is available at https://github.com/JhCircle/Deepfind-GGSM.
• Abstract（参考訳）: デコーダのみの大規模言語モデルは、ユーザ表現学習の行動エンコーダとしての利用が増えているが、ユーザ埋め込みの品質に対する注目マスキングの影響は、いまだ過小評価されている。 本研究では,長期にわたる異種ユーザ行動を統合した大規模現実世界のAlipayデータに基づいて学習した一貫したコントラスト学習フレームワークにおいて,因果・ハイブリッド・双方向の注意マスクを体系的に研究する。 因果性から双方向性への注意を移行する際のトレーニングのダイナミクスを改善するために,線形スケジューラの前に勾配に基づく事前ウォームアップであるGradient-Guided Soft Maskingを提案する。 本手法は,予測,嗜好,マーケティングの感度に関する9つの産業ユーザ認知ベンチマークに基づいて評価され,コーパス,ハイブリッド,スケジューラのみのベースラインと比較して,より安定したトレーニングと高品質な双方向表現を実現し,デコーダの事前訓練と互換性を維持した。 本研究は,デコーダのみのLLMを効果的なユーザ表現学習に適用する上で,マスキング設計とトレーニング移行の重要性を強調した。 私たちのコードはhttps://github.com/JhCircle/Deepfind-GGSMで公開されています。

関連論文リスト

• Self-Supervised Learning on Molecular Graphs: A Systematic Investigation of Masking Design [11.43518417965958]
  自己教師付き学習は、分子表現学習において中心的な役割を果たす。 マスキングに基づく事前訓練の最近の革新は、隠蔽と原則的評価の欠如として紹介されている。 この作業により、プレトレイン-ファイントゥンワークフロー全体が統一された確率的フレームワークとなった。
  論文  参考訳（メタデータ） (2025-12-08T00:52:46Z)
• Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition [55.189113121465816]
  本稿では,長い尾を持つ多ラベル視覚認識のための新しい相関適応プロンプトネットワーク(CAPNET)を提案する。 CAPNETはCLIPのテキストエンコーダからの相関を明示的にモデル化する。 テスト時間アンサンブルによる一般化を改善し、視覚・テクスチャのモダリティを実現する。
  論文  参考訳（メタデータ） (2025-11-25T18:57:28Z)
• Mask & Match: Learning to Recognize Handwritten Math with Self-Supervised Attention [0.19116784879310025]
  我々は手書き数式(HMER)の認識のための自己教師型学習フレームワークを提案する。 我々のアプローチは、大域的および局所的なコントラスト的損失の組み合わせを用いて、画像エンコーダを事前訓練することから始まる。 この研究の重要な貢献は、プログレッシブな空間マスキング戦略を用いて訓練された、新しい自己監督型アテンションネットワークである。
  論文  参考訳（メタデータ） (2025-08-08T08:11:36Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency [7.940705941237998]
  自己教師型 ViT のための単純な2段階適応アルゴリズムである PACMAC を提案する。 私たちの単純なアプローチは、競合するメソッドよりも一貫したパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2022-06-16T14:46:10Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation [56.264157127549446]
  音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。 SERの主な課題の1つは、データの不足である。 本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-05T10:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。