論文の概要: User Embeddings are Superpositions of Interpretable Behavioral Modes

• arxiv url: http://arxiv.org/abs/2611.08487v1
• Date: Thu, 05 Nov 2026 18:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.633549
• Title: User Embeddings are Superpositions of Interpretable Behavioral Modes
• Title（参考訳）: ユーザ埋め込みは解釈可能な行動モードの重ね合わせである
• Abstract要約: ユーザ埋め込みは、解釈可能な動作モードのスパース重ね合わせとして理解できることを示す。 この構造は、線形埋め込みのためのユーザ行動の生成モデルによって直接予測される。 テキスト上で訓練されたことのない埋め込みに対して、自然言語ラベルがゼロショットのオーディエンス検索とキャラクタリゼーションを可能にする方法を示す。
• 参考スコア（独自算出の注目度）: 14.217766849071493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User embeddings are central components of modern recommendation, personalization, and behavioral modeling systems. Though these embeddings can compactly encode rich behavioral information, they are inherently dense and opaque, limiting interpretability. To address this gap, we argue that user embeddings can be understood as sparse superpositions of interpretable behavioral modes. This structure is directly predicted by generative models of user behavior for linear embeddings and extends approximately to deep-learning representations by the superposition hypothesis. Superimposed modes can naturally be recovered by sparse dictionary learning methods, such as sparse autoencoders (SAEs), and recovered modes can be automatically named and queried in natural language. We validate mode recovery against known ground truth on synthetic data, where SAEs recover modes better than classical sparse baselines, including on transformer-encoded embeddings. We then apply the method to classical and transformer-based user embeddings from two real-world datasets. We also show how the corresponding natural-language labels enable zero-shot audience retrieval and characterization over embeddings never trained on text. The framework is post-hoc and model-agnostic, requiring no modification to the upstream embedding system.
• Abstract（参考訳）: ユーザ埋め込みは、現代的なレコメンデーション、パーソナライゼーション、行動モデリングシステムの中心的なコンポーネントである。 これらの埋め込みは、リッチな行動情報をコンパクトに符号化することができるが、本質的には密度が高く不透明であり、解釈可能性を制限する。 このギャップに対処するために、ユーザ埋め込みは、解釈可能な動作モードのスパース重ね合わせとして理解することができると論じる。 この構造は線形埋め込みのためのユーザ行動生成モデルにより直接予測され、重ね合わせ仮説によりほぼディープラーニング表現に拡張される。 重ね合わせモードは、スパースオートエンコーダ(SAE)のようなスパース辞書学習法によって自然に回収することができ、回復モードは自然言語で自動的に名前付け、クエリすることができる。 SAEは、トランスフォーマーエンコード埋め込みを含む古典的なスパースベースラインよりも良好なモードを復元する合成データに対して、既知の基底真理に対してモード回復を検証する。 次に、この手法を、2つの実世界のデータセットからの古典的およびトランスフォーマーベースのユーザ埋め込みに適用する。 また,テキスト上で訓練されたことのない埋め込みに対して,自然言語ラベルがゼロショットのオーディエンス検索と特徴付けを可能にすることを示す。 フレームワークはポストホックでモデルに依存しないため、上流の埋め込みシステムを変更する必要はない。

関連論文リスト

• Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
  汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。 本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
  論文  参考訳（メタデータ） (2026-08-15T13:19:25Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• From Data Statistics to Feature Geometry: How Correlations Shape Superposition [23.393264014989615]
  機械的解釈可能性における中心的な考え方は、ニューラルネットワークが次元よりも多くの特徴を表現することである。 重ね合わせは、特徴がスパースで非相関な理想的な設定で研究されている。 重ね合わせは一般に、幾何学的に最小化され、非線形性によってフィルタリングされなければならない干渉を導入するものとして理解される。
  論文  参考訳（メタデータ） (2026-03-10T17:59:02Z)
• SCALEX: Scalable Concept and Latent Exploration for Diffusion Models [59.86284983662119]
  画像生成モデルは、しばしば、性別、人種、職業に関連するステレオタイプを含む社会的バイアスを符号化する。 拡散モデルラテント空間のスケーラブルかつ自動探索のためのフレームワークであるSCALEXを紹介する。 自然言語プロンプトのみを使用して、H空間から意味論的に意味のある方向を抽出し、リトレーニングやラベル付けをせずにゼロショット解釈を可能にする。
  論文  参考訳（メタデータ） (2025-11-13T22:02:44Z)
• iBERT: Interpretable Style Embeddings via Sense Decomposition [13.807309397328467]
  iBERT (interpretable-BERT) は、本質的に解釈可能な埋め込みを生成するエンコーダである。 各入力トークンは、k個の文脈に依存しない感覚ベクトル上のスパースで非負の混合として表現される。
  論文  参考訳（メタデータ） (2025-10-10T21:37:36Z)
• Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations [1.0152838128195467]
  埋め込み層が完全に凍結されたTransformerモデルを構築します。 我々の手法は、Unicode中心の新しいトークン化器を含む任意のトークン化器と互換性がある。 トレーニング可能なセマンティックな埋め込みがないにもかかわらず、私たちのモデルは収束し、一貫性のあるテキストを生成します。
  論文  参考訳（メタデータ） (2025-07-07T11:17:32Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning [75.2748374360642]
  そこで本研究では,繰り返し状態間の隠れ構造表現を学習するための新しい手法であるModeRNNを提案する。 データセット全体にわたって、異なるモードがスロットの混合に対して異なるレスポンスをもたらすため、ModeRNNが構造化された表現を構築する能力が向上する。
  論文  参考訳（メタデータ） (2021-10-08T03:47:54Z)
• Explaining Predictions by Approximating the Local Decision Boundary [3.60160227126201]
  局所決定境界近似(DBA)の新しい手法を提案する。 我々は変分オートエンコーダを訓練し、符号化されたデータ表現のユークリッド潜在空間を学習する。 我々は属性アノテーションを利用して、潜在空間をユーザにとって意味のある属性にマッピングします。
  論文  参考訳（メタデータ） (2020-06-14T19:12:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。