論文の概要: Sparse Autoencoders for Sequential Recommendation Models: Interpretation and Flexible Control

• arxiv url: http://arxiv.org/abs/2507.12202v1
• Date: Wed, 16 Jul 2025 12:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.395499
• Title: Sparse Autoencoders for Sequential Recommendation Models: Interpretation and Flexible Control
• Title（参考訳）: 逐次推薦モデルのためのスパースオートエンコーダ:解釈とフレキシブル制御
• Authors: Anton Klenitskiy, Konstantin Polev, Daria Denisova, Alexey Vasilev, Dmitry Simakov, Gleb Gusev,
• Abstract要約: スパースオートエンコーダ(SAE)は言語モデルから解釈可能な特徴を抽出するための有望な教師なしアプローチであることが示されている。 本研究では,シーケンシャルなレコメンデーションタスクでトレーニングしたトランスフォーマーに対して,SAEをうまく適用可能であることを示す。 我々は,SAEが学習した特徴が,モデルの振る舞いを効果的かつ柔軟に制御するために利用できることを示した。
• 参考スコア（独自算出の注目度）: 5.045834768309381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many current state-of-the-art models for sequential recommendations are based on transformer architectures. Interpretation and explanation of such black box models is an important research question, as a better understanding of their internals can help understand, influence, and control their behavior, which is very important in a variety of real-world applications. Recently sparse autoencoders (SAE) have been shown to be a promising unsupervised approach for extracting interpretable features from language models. These autoencoders learn to reconstruct hidden states of the transformer's internal layers from sparse linear combinations of directions in their activation space. This paper is focused on the application of SAE to the sequential recommendation domain. We show that this approach can be successfully applied to the transformer trained on a sequential recommendation task: learned directions turn out to be more interpretable and monosemantic than the original hidden state dimensions. Moreover, we demonstrate that the features learned by SAE can be used to effectively and flexibly control the model's behavior, providing end-users with a straightforward method to adjust their recommendations to different custom scenarios and contexts.
• Abstract（参考訳）: シーケンシャルレコメンデーションのための現在の最先端モデルの多くは、トランスフォーマーアーキテクチャに基づいている。 このようなブラックボックスモデルの解釈と説明は重要な研究課題であり、内部の理解を深めることで、様々な現実世界の応用において非常に重要な行動を理解し、影響し、制御することができる。 近年,スパースオートエンコーダ (SAE) は言語モデルから解釈可能な特徴を抽出するための教師なしアプローチとして有望であることが示されている。 これらのオートエンコーダは、アクティベーション空間における方向の粗い線形結合から、変圧器の内部層の隠れた状態を再構築することを学ぶ。 本稿では、シーケンシャルレコメンデーションドメインへのSAEの適用に焦点を当てる。 本研究では,この手法を逐次推薦タスクで訓練したトランスフォーマーに適用できることを示し,学習方向は本来の隠れ状態次元よりも解釈可能で単意味であることが判明した。 さらに,SAEが学習した機能は,モデルの振る舞いを効果的かつ柔軟に制御するために利用することができ,エンドユーザーに異なるカスタムシナリオやコンテキストにレコメンデーションを調整するための簡単な方法を提供する。

関連論文リスト

• Recurrent Expansion: A Pathway Toward the Next Generation of Deep Learning [0.26107298043931204]
  Recurrent Expansion (RE)は、従来の機械学習(ML)とディープラーニング(DL)を超えて進化する新しい学習パラダイムである。 REは、同一のディープアーキテクチャによるデータの複数のマッピングを強調し、内部表現(フィーチャーマップ)を損失などの観測されたパフォーマンス信号とともに分析する。 スケーラブルで適応的な変種であるSc-HMVREは、現実世界のデプロイメントに選択的なメカニズムとスケールの多様性を導入している。
  論文  参考訳（メタデータ） (2025-07-04T19:26:48Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Interpret the Internal States of Recommendation Model with Sparse Autoencoder [28.234859617081295]
  RecSAEは、Sparse AutoEncoderでRecommendersを解釈する自動化され、一般化可能なプローブフレームワークである。 これはレコメンデーションモデルの内部状態から解釈可能なラテントを抽出し、解釈のセマンティックな概念にリンクする。 RecSAEは解釈中にオリジナルのモデルを変更せず、解釈結果に基づいたモデルへのターゲットのデバイアスを可能にする。
  論文  参考訳（メタデータ） (2024-11-09T08:22:31Z)
• Breaking Determinism: Fuzzy Modeling of Sequential Recommendation Using Discrete State Space Diffusion Model [66.91323540178739]
  シークエンシャルレコメンデーション(SR)は、ユーザーが過去の行動に基づいて興味を持つかもしれない項目を予測することを目的としている。 我々はSRを新しい情報理論の観点から再検討し、逐次モデリング手法がユーザの行動のランダム性と予測不可能性を適切に把握できないことを発見した。 ファジィ情報処理理論に触発された本論文では,制限を克服し,ユーザの関心事の進化をよりよく捉えるために,ファジィなインタラクションシーケンスの組を導入する。
  論文  参考訳（メタデータ） (2024-10-31T14:52:01Z)
• Causality-Enhanced Behavior Sequence Modeling in LLMs for Personalized Recommendation [47.29682938439268]
  本稿では,ユーザ嗜好モデルを改善するために,CFT法を提案する。 モデル出力に対する行動系列の因果的影響を特定するために, 反ファクト推論を用いる。 実世界のデータセットの実験により、CFTは行動シーケンスモデリングを効果的に改善することを示した。
  論文  参考訳（メタデータ） (2024-10-30T08:41:13Z)
• Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers [12.986126243018452]
  変換器は、特徴属性に使用される線形または付加的な代理モデルを表現することができず、構造的に不可能である。 我々は,変圧器フレームワークに特化して設計された新しい代理モデルであるSoftmax-Linked Additive Log Odds Model (SLALOM)を紹介する。 SLALOMが競合する代理モデルよりもはるかに高い忠実さで説明できることを示すことで、SLALOMの独特な効率品質曲線を強調した。
  論文  参考訳（メタデータ） (2024-05-22T11:14:00Z)
• RecExplainer: Aligning Large Language Models for Explaining Recommendation Models [50.74181089742969]
  大規模言語モデル (LLM) は、理解、推論、指導において顕著な知性を示した。 本稿では, ブラックボックスレコメンデータモデルを説明するために, LLM を代理モデルとして利用することについて検討する。 効果的なアライメントを容易にするために,行動アライメント,意図アライメント,ハイブリッドアライメントという3つの手法を導入する。
  論文  参考訳（メタデータ） (2023-11-18T03:05:43Z)
• Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling [18.297332953450514]
  本稿では、事前学習した言語モデルの意味理解機能を活用してパーソナライズされたレコメンデーションを生成するLANCERを提案する。 我々のアプローチは、言語モデルとレコメンデーションシステムの間のギャップを埋め、より人間的なレコメンデーションを生み出します。
  論文  参考訳（メタデータ） (2023-09-19T08:54:47Z)
• MISSRec: Pre-training and Transferring Multi-modal Interest-aware Sequence Representation for Recommendation [61.45986275328629]
  逐次レコメンデーションのためのマルチモーダル事前学習・転送学習フレームワークであるMISSRecを提案する。 ユーザ側ではトランスフォーマーベースのエンコーダデコーダモデルを設計し、コンテキストエンコーダがシーケンスレベルのマルチモーダルユーザ興味を捉えることを学習する。 候補項目側では,ユーザ適応項目表現を生成するために動的融合モジュールを採用する。
  論文  参考訳（メタデータ） (2023-08-22T04:06:56Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Towards Universal Sequence Representation Learning for Recommender Systems [98.02154164251846]
  我々はUniSRecという新しいユニバーサルシーケンス表現学習手法を提案する。 提案手法は、項目の関連記述テキストを用いて、異なる推薦シナリオ間で転送可能な表現を学習する。 我々のアプローチは、パラメータ効率のよい方法で、新しいレコメンデーションドメインやプラットフォームに効果的に移行できます。
  論文  参考訳（メタデータ） (2022-06-13T07:21:56Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。