論文の概要: Act-With-Think: Chunk Auto-Regressive Modeling for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2506.23643v1
• Date: Mon, 30 Jun 2025 09:13:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.991044
• Title: Act-With-Think: Chunk Auto-Regressive Modeling for Generative Recommendation
• Title（参考訳）: Act-With-Think:Chunk Auto-Regressive Modeling for Generative Recommendation
• Authors: Yifan Wang, Weinan Gan, Longtao Xiao, Jieming Zhu, Heng Chang, Haozhao Wang, Rui Zhang, Zhenhua Dong, Ruiming Tang, Ruixuan Li,
• Abstract要約: ジェネレーティブレコメンデーション(GR)は通常、アイテム情報の振る舞いや意味的な側面を離散トークンにエンコードする。 本稿では,Chunk AutoRegressive Modeling(CAR)について紹介する。
• 参考スコア（独自算出の注目度）: 49.45822979879046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation (GR) typically encodes behavioral or semantic aspects of item information into discrete tokens, leveraging the standard autoregressive (AR) generation paradigm to make predictions. However, existing methods tend to overlook their intrinsic relationship, that is, the semantic usually provides some reasonable explainability "$\textbf{why}$" for the behavior "$\textbf{what}$", which may constrain the full potential of GR. To this end, we present Chunk AutoRegressive Modeling (CAR), a new generation paradigm following the decision pattern that users usually think semantic aspects of items (e.g. brand) and then take actions on target items (e.g. purchase). Our CAR, for the $\textit{first time}$, incorporates semantics (SIDs) and behavior (UID) into a single autoregressive transformer from an ``act-with-think'' dual perspective via chunk-level autoregression. Specifically, CAR packs SIDs and UID into a conceptual chunk for item unified representation, allowing each decoding step to make a holistic prediction. Experiments show that our CAR significantly outperforms existing methods based on traditional AR, improving Recall@5 by 7.93% to 22.30%. Furthermore, we verify the scaling effect between model performance and SIDs bit number, demonstrating that CAR preliminary emulates a kind of slow-thinking style mechanism akin to the reasoning processes observed in large language models (LLMs).
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は通常、アイテム情報の振る舞いや意味的な側面を離散トークンにエンコードし、標準的な自己回帰(AR)生成パラダイムを活用して予測を行う。 しかし、既存のメソッドはそれらの本質的な関係を見落としがちである、つまり、セマンティックスは通常、GRの完全なポテンシャルを制限する振る舞い "$\textbf{why}$" に対して、合理的な説明可能性 "$\textbf{what}$" を提供する。 この目的のために,Chunk AutoRegressive Modeling (CAR) を提案する。これは,ユーザが通常,アイテムのセマンティックな側面(例えばブランド)を考慮し,ターゲットアイテム(例えば購入)にアクションを取る,決定パターンに従う新しい世代パラダイムである。 我々のCARは、$\textit{first time}$に対して、セマンティクス(SID)と振舞い(UID)を、チャンクレベルの自己回帰を通じて `act-with-think'' の双対的な視点から単一の自己回帰変換器に組み込む。 具体的には、CARはSIDとUIDをアイテム統一表現のための概念的なチャンクにまとめ、各デコードステップで全体予測を行う。 実験の結果、我々のCARは従来のARに基づく既存のメソッドよりも大幅に優れており、Recall@5は7.93%改善されて22.30%となった。 さらに、モデル性能とSIDのビット数とのスケーリング効果を検証し、CARが大規模言語モデル(LLM)で観測される推論プロセスに類似した、スローシンキングスタイルのメカニズムをエミュレートすることを示した。

関連論文リスト

• EAR: Erasing Concepts from Unified Autoregressive Models [3.55166983092355]
  本稿では,ARモデルにおける有効かつ有効に保存できる概念消去のための微調整手法であるErasure Autoregressive Model (EAR)を提案する。 具体的には、パッチレベルのデコードと消去対象との整合性を確保するために、Windowed Gradient Accumulation (WGA)戦略を導入する。 我々はまた、ARモデルにおける概念消去を評価するためのより厳密で包括的な基盤を提供することを目的として、新しいベンチマークであるErase Concept Generator and Visual Filter (ECGVF)を提案する。
  論文  参考訳（メタデータ） (2025-06-25T06:15:07Z)
• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• CoKe: Customizable Fine-Grained Story Evaluation via Chain-of-Keyword Rationalization [90.15027447565427]
  思考の連鎖(CoT)は、モデルの予測を導くのに役立つ自由テキストの説明を生成する。 自己一貫性(SC: Self-Consistency)は、複数の生成された説明に対する予測を疎外する。 我々は、$textbfC$hain-$textbfo$f-$textbfKe$ywords (CoKe)を提案する。
  論文  参考訳（メタデータ） (2025-03-21T13:37:46Z)
• Concept Steerers: Leveraging K-Sparse Autoencoders for Controllable Generations [10.86252546314626]
  テキスト・ツー・イメージ生成モデルは、敵対的な攻撃をしがちであり、不安全で非倫理的なコンテンツを不注意に生成する。 我々は,k-スパースオートエンコーダ(k-SAE)を活用して,効率的な,解釈可能な概念操作を実現する新しいフレームワークを提案する。 提案手法は, 安全でない概念除去において$mathbf20.01%$の改善を実現し, スタイル操作に有効であり, 現在の最先端技術よりも$mathbfsim5$x高速である。
  論文  参考訳（メタデータ） (2025-01-31T11:52:47Z)
• Interpret the Internal States of Recommendation Model with Sparse Autoencoder [26.021277330699963]
  RecSAEは、レコメンデーションモデルの内部状態を解釈するための、自動で一般化可能な探索手法である。 我々は、推薦モデルの内部アクティベーションを再構築するために、疎度制約付きオートエンコーダを訓練する。 我々は、潜在活性化と入力項目列の関係に基づき、概念辞書の構築を自動化した。
  論文  参考訳（メタデータ） (2024-11-09T08:22:31Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Curb Your Attention: Causal Attention Gating for Robust Trajectory Prediction in Autonomous Driving [6.897286554827871]
  自律走行における軌道予測モデルは、非因果エージェントの摂動に弱い。 過去のステップのウィンドウ上で、エージェント間の因果関係を特定するために、$textitCausal tRajecTory predICtion$ $textbf(CRiTIC)$を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:01:20Z)
• Defending Variational Autoencoders from Adversarial Attacks with MCMC [74.36233246536459]
  変分オートエンコーダ(VAE)は、様々な領域で使用される深部生成モデルである。 以前の研究が示すように、視覚的にわずかに修正された入力に対する予期せぬ潜在表現と再構成を生成するために、VAEを簡単に騙すことができる。 本稿では, 敵攻撃構築のための目的関数について検討し, モデルのロバスト性を評価する指標を提案し, 解決策を提案する。
  論文  参考訳（メタデータ） (2022-03-18T13:25:18Z)
• LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention [54.18121922040521]
  非自己回帰翻訳(NAT)モデルは、1つの前方通過で複数のトークンを生成する。 これらのNATモデルは、しばしば多重性の問題に悩まされ、重複トークンや欠落トークンを生成する。 本稿では,この問題を解決するための新しい方法として,Look-Around(LA)戦略とVocabulary Attention(VA)メカニズムを提案する。
  論文  参考訳（メタデータ） (2020-02-08T04:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。