論文の概要: TAAL: Mitigating Early Beam Pruning in Generative Recommendation via Temporal Autoregressive Alignment
- arxiv url: http://arxiv.org/abs/2608.29179v1
- Date: Sat, 29 Aug 2026 10:11:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.868321
- Title: TAAL: Mitigating Early Beam Pruning in Generative Recommendation via Temporal Autoregressive Alignment
- Title(参考訳): TAAL:時間的自己回帰アライメントによるジェネレーティブレコメンデーションにおける早期ビームプルーニングの軽減
- Abstract要約: 生成レコメンデーションは、アイテムを階層的セマンティック識別子(SID)としてエンコードし、自動回帰デコーディングを通じて次のアイテムを検索する。
しかし、標準的な次トーケン予測では、相互作用系列に存在するマルチモーダル遷移を明示的にカバーしておらず、初期のビーム探索枝における不可逆プルーニングに弱いSIDを残している。
この問題を解決するために,時間的自己回帰アライメント(TAAL)を提案する。
Amazon Beauty、Yelp、およびAmazon Instrumentsでは、TAALは標準ベースラインのNDCG@10をそれぞれ39.5%、6.7%、28.6%改善し、フルに増加している。
- 参考スコア(独自算出の注目度): 11.416581885243964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative recommendation encodes items as hierarchical semantic identifiers (SIDs) and retrieves the next item through autoregressive decoding. Standard next-token prediction, however, does not explicitly cover the multimodal transitions present in interaction sequences, leaving the ground-truth SID vulnerable to irreversible pruning at early beam-search branches. Across three public benchmarks, we find that 91.9\%--96.6\% of retrieval failures occur within the first two decoding steps. We therefore propose Temporal Autoregressive Alignment (TAAL). During training, TAAL constructs a joint $(c_1,c_2)$ soft target from historical transitions and aligns the early-prefix distribution with a forward KL objective. During inference, it calibrates candidate scores with pointwise mutual information (PMI) to reduce the influence of globally frequent prefixes. On Amazon Beauty, Instruments, and Yelp, TAAL improves NDCG@10 over the standard baseline by 39.5\%, 6.7\%, and 28.6\%, respectively, while increasing full-SID survival by 3.9\%--16.6\%. Beam-width analysis further shows that the relative survival gain grows as the beam narrows, reaching 39.4\% at $B=5$.
- Abstract(参考訳): 生成レコメンデーションは、アイテムを階層的セマンティック識別子(SID)としてエンコードし、自動回帰デコーディングを通じて次のアイテムを検索する。
しかし、標準的な次トーケン予測では、相互作用列に存在するマルチモーダル遷移を明示的にカバーしておらず、初期のビーム探索枝における不可逆プルーニングに弱いSIDを残している。
3つの公開ベンチマークで、最初の2つのデコードステップで91.9\%--96.6\%の検索障害が発生することが判明した。
そこで我々は,時間的自己回帰アライメント(TAAL)を提案する。
トレーニング中、TAALは過去の遷移から$(c_1,c_2)$のソフトターゲットを構築し、早期修正分布を前方KL目標と整合させる。
推測中は、ポイントワイド相互情報(PMI)で候補スコアを校正し、グローバルに頻繁な接頭辞の影響を低減する。
Amazon Beauty、Instruments、Yelpでは、TAALは標準ベースラインよりもNDCG@10を39.5\%、6.7\%、28.6\%改善し、フルSIDの生存率は3.9\%--16.6\%向上した。
ビーム幅分析により、ビームが狭まるにつれて相対生存率が増加し、39.4\%のB=5$に達した。
関連論文リスト
- One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳(メタデータ) (2026-09-06T08:32:59Z) - From a Static Multi-Level Small Semantic Codebook to a Dynamic Single-Level Large Semantic Codebook for Generative Recommendation [17.4418123744239]
生成レコメンデーションは、各項目を個別のセマンティックID(SID)シーケンスで表現し、そのシーケンスを予測して次の項目を取得する。
アイテム衝突を減らすために、個別に協調的曖昧化トークンを保持しながら、複数の残余意味コードを1つの意味トークンに置き換えるシングルレベルな大規模意味コードブックを提案する。
論文 参考訳(メタデータ) (2026-08-21T11:58:44Z) - CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
論文 参考訳(メタデータ) (2026-08-07T19:11:54Z) - SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models [0.0]
ヘテロジニアスな感覚予測,セマンティクス,画像テキストバインディング,動作条件付きダイナミクスを共同で訓練した1.45MスパーススパイキングモデルであるSpikeWorldを紹介する。
共同最適化により、アクション次世代MSEは17.10%改善され、マルチモーダル予測、セマンティック精度、画像テキスト検索が改善された。
論文 参考訳(メタデータ) (2026-08-07T18:57:06Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Beyond the Attention Stability Boundary: Agentic Self-Synthesizing Reasoning Protocols [6.357772907811544]
SSRP(Self- Synthesizing Reasoning Protocols)は、アーキテクチャ計画と手続き実行の分離を実装するメタ認知フレームワークである。
提案する実験層は,浅電流に基づく検索パイロット,高エントロピーSOP,セマンティックハイジャック3ホップ多要素合成タスクの3種類である。
以上の結果から,GPT 5.4の非定常バニラ基準線が0.1%に崩壊し,SSRPは715X耐力限界を達成した。
論文 参考訳(メタデータ) (2026-04-27T14:13:30Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳(メタデータ) (2026-03-10T04:07:39Z) - Time Is a Feature: Exploiting Temporal Dynamics in Diffusion Language Models [57.474294329887236]
拡散大言語モデル (dLLMs) は反復的 denoising を通じてテキストを生成する。
現在のデコード戦略は、最終的な出力に有利なリッチな中間予測を捨てている。
時間的整合性を利用する2つの相補的手法を導入する。
論文 参考訳(メタデータ) (2025-08-12T17:59:57Z) - TRACEALIGN -- Tracing the Drift: Attributing Alignment Failures to Training-Time Belief Sources in LLMs [7.125400292079228]
大きな言語モデル(LLM)は、人間の値に合わせるように微調整され、しばしばアライメントドリフトを示す。
以前の作業ではアライメント障害が特徴的だったが、これらの障害の根底にあるトレーニングタイムの信念源についてはほとんど知られていない。
TraceAlignは、モデルのトレーニングコーパスの根本原因に安全でない完了をトレースするための統一されたフレームワークである。
論文 参考訳(メタデータ) (2025-08-04T05:03:35Z) - Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic
Parsing [55.97957664897004]
seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。
これらのモデルは通常、長さ予測によってボトルネックとなる。
本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
論文 参考訳(メタデータ) (2021-04-15T07:02:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。