論文の概要: Not Only NTP: Extending Training Signal Coverage for Generative Recommendation

• arxiv url: http://arxiv.org/abs/2607.12277v1
• Date: Tue, 14 Jul 2026 02:28:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.013408
• Title: Not Only NTP: Extending Training Signal Coverage for Generative Recommendation
• Title（参考訳）: NTPに限らず:生成的勧告のためのトレーニング信号カバレッジの拡張
• Abstract要約: Next-Token Prediction (NTP) には2つの構造的訓練信号制限がある。 両次元に沿って NTP の信号カバレッジを拡張する textbfNONTP を提案する。 4ドメインのMeituan産業データセットでは、NONTPはNTPでHR@10 +34.3%、MBGRで+18.3%を達成している。
• 参考スコア（独自算出の注目度）: 14.332200648147863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next-Token Prediction (NTP) carries two structural training signal limitations. First, NTP optimizes for single-step prediction only, placing no supervised pressure on learning longer-range behavioral structure -- we term this \textbf{temporal locality}. Second, in multi-domain sequences, each target item embedding receives gradient updates exclusively from the immediately preceding hidden state, with no explicit gradient pathway from cross-domain context -- we term this \textbf{spatial locality}. We propose \textbf{NONTP}, extending NTP's signal coverage along both dimensions through two auxiliary objectives. \textbf{TCL (Temporal Contrastive Learning)} uses a BYOL-style EMA teacher with InfoNCE to align hidden states against a $K$-step future trajectory in representation space. \textbf{TDL (Trans-Domain Learning)} mean-pools cross-domain hidden states and predicts through the shared prediction head, opening a second gradient pathway with no additional parameters. Both are discarded at inference: zero overhead. On a four-domain Meituan industrial dataset (full ranking), NONTP achieves HR@10 +34.3\% over NTP and +18.3\% over MBGR. On the public Amazon Movie-Book-CDs benchmark, HR@10 +2.8\% and NDCG@10 +3.7\%. Online A/B tests confirm CTR +1.8\% and GMV +2.1\% (both $p < 0.01$). Ablation studies confirm each component contributes independently, with gradient conflict analyzed as a direction for future work.
• Abstract（参考訳）: Next-Token Prediction (NTP) には2つの構造的訓練信号制限がある。 まず、NTPは単一ステップの予測のみを最適化し、より長い範囲の振る舞い構造を学ぶための教師付きプレッシャーを配置しない。 第二に、マルチドメインシーケンスにおいて、各ターゲットアイテムの埋め込みは、直近の隠れ状態からのみグラデーションアップデートを受け取り、クロスドメインコンテキストからの明示的な勾配パスがない。 本稿では,NTPの信号カバレッジを2つの補助的目的により両次元に沿って拡張する「textbf{NONTP}」を提案する。 textbf{TCL (Temporal Contrastive Learning") は BYOL スタイルの EMA 教師とInfoNCE を使って、表現空間における$K$ステップの将来の軌跡に対して隠れた状態をアライメントする。 \textbf{TDL (Trans-Domain Learning)} は、クロスドメインの隠された状態を平均的にプールし、共有予測ヘッドを通じて予測し、追加パラメータなしで第2勾配経路を開く。 どちらも推論時に破棄される:ゼロオーバーヘッド。 4ドメインのMeituan産業データセット(フルランキング)では、NONTPはNTPでHR@10 +34.3\%、MBGRで+18.3\%を達成している。 パブリックなAmazon Movie-Book-CDsベンチマークでは、HR@10 +2.8\%とNDCG@10 +3.7\%である。 オンラインA/BテストではCTR +1.8\%、GMV +2.1\%(どちらも$p < 0.01$)が確認されている。 アブレーション研究は、各成分が独立して寄与し、グラデーションコンフリクトは将来の作業の方向性として分析される。

関連論文リスト

• PPAPlace: Differentiable Cross-Stage Objectives for Chip Placement Optimization [2.2317677777799063]
  マクロ配置は、チップのポストルート性能、パワー、面積(PPA)に大きく影響する 最近のベンチマークでは、HPWLと最悪の負のスラック(WNS)や全負のスラック(TNS)といったルート後タイミングメトリクスのほぼゼロの相関が示されている。 既存の方法はマクロのみの表現にフォーカスし、トレーニングラベルとして事前ルートメトリクスを使用する。 PPAPlaceは、マクロおよび標準セル配置から経路後PPAを予測するタイミング駆動の微分可能なサロゲートである。
  論文  参考訳（メタデータ） (2026-08-13T21:50:07Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Federated Language Models Under Bandwidth Budgets: Distillation Rates and Conformal Coverage [12.805268849262243]
  集中できない帯域制限ノードに散在するデータに基づいて言語モデルを訓練することは、臨床ネットワーク、企業知識基盤、科学コンソーシアムで発生する設定である。 ノード間でデータを分散し続けなければならない状況について検討し、明示的な帯域幅予算の下では、何の統計的保証が得られるのかを問う。
  論文  参考訳（メタデータ） (2026-05-11T05:01:43Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Semi-Supervised Cross-Domain Imitation Learning [9.740139304952615]
  クロスドメイン模倣学習(CDIL)は、専門知識をドメイン間で伝達することで、政策学習を促進する。 本稿では,Semi-Supervised CDIL設定を導入し,SS-CDILの最初のアルゴリズムを提案する。 我々のアプローチは、最小限の監督で安定かつデータ効率の政策学習を実現する。
  論文  参考訳（メタデータ） (2026-02-11T12:38:08Z)
• FedMPDD: Communication-Efficient Federated Learning with Privacy Preservation Attributes via Projected Directional Derivative [0.0]
  textttFedMPDD (textbfFederated Learning via textbfMulti-textbfProjected textbfDirectional textbfDerivatives) textttFedMPDDは、各クライアントの高次元勾配を、複数のランダムベクトルに沿って方向微分を計算することによってエンコードする。
  論文  参考訳（メタデータ） (2025-12-23T22:25:11Z)
• Cooperative Pseudo Labeling for Unsupervised Federated Classification [62.9387841396335]
  Unsupervised Federated Learning (UFL)は、データを共有したりラベル情報にアクセスしたりすることなく、分散クライアント間でグローバルモデルを協調的にトレーニングすることを目的としている。 我々は、新しい方法、 underlinetextbfFederated underlinetextbfCooperative underlinetextbfPseudo underlinetextbfLabeling (textbfFedCoPL)を提案する。 特に、一般的な画像特徴を含む視覚的プロンプトをサーバに集約し、パーソナライズされた知識をコードするテキストプロンプトをローカルに保持する。
  論文  参考訳（メタデータ） (2025-10-11T08:18:26Z)
• AEGIS: Authentic Edge Growth In Sparsity for Link Prediction in Edge-Sparse Bipartite Knowledge Graphs [0.8594140167290097]
  AEGISは、既存のトレーニングエッジを再サンプリングする、エッジのみの拡張フレームワークである。 テキストリッチGDPグラフでは、セマンティックKNNが最大のAUC改善とBrierスコアの削減を実現している。
  論文  参考訳（メタデータ） (2025-09-26T07:51:40Z)
• FedIA: A Plug-and-Play Importance-Aware Gradient Pruning Aggregation Method for Domain-Robust Federated Graph Learning on Node Classification [4.544368428086142]
  ドメインスキュー下でのフェデレーショングラフラーニング(FGL) -- emphTwitch GamersやマルチリンガルのemphWikipediaネットワークなどのプラットフォームで見られる — は、クライアントモデルを互換性のない表現に向けて推進し、不安定かつ非効率なアグリゲーションをレンダリングする。 基礎線法を実証的に解析した結果, 勾配次元の大部分が領域固有の分散によって支配されることが示唆された。
  論文  参考訳（メタデータ） (2025-09-17T13:04:11Z)
• Exploiting Pre-trained Models for Drug Target Affinity Prediction with Nearest Neighbors [58.661454334877256]
  薬物-標的結合親和性(DTA)予測は、薬物発見に不可欠である。 DTA予測へのディープラーニング手法の適用にもかかわらず、達成された精度は依然として準最適である。 事前学習したDTA予測モデルに適用した非表現埋め込みに基づく検索手法である$k$NN-DTAを提案する。
  論文  参考訳（メタデータ） (2024-07-21T15:49:05Z)
• Refined Edge Usage of Graph Neural Networks for Edge Prediction [51.06557652109059]
  We propose a novel edge prediction paradigm named Edge-aware Message PassIng neuRal nEtworks (EMPIRE)。 まず,各エッジをトポロジや監督のためにのみ使用するエッジ分割手法を提案する。 監視エッジで接続されたペアと接続されていないペアの差を強調するために、さらにメッセージを重み付けして、その差を反映できる相対的なペアを強調します。
  論文  参考訳（メタデータ） (2022-12-25T23:19:56Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Domain Decorrelation with Potential Energy Ranking [40.43902519672898]
  textbfPotential textbfEnergy textbfRanking (PoER)を提案する。 PoERは、浅い層にドメイン情報を含むラベル関連機能をニューラルネットワークがキャプチャするのに役立つ。 ドメインベンチマークのパフォーマンスが向上し、既存の手法に比べて平均トップ1の精度が1.20%向上したと報告している。
  論文  参考訳（メタデータ） (2022-07-25T13:33:53Z)
• Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation [81.0955457177017]
  GAIL(Generative Adversarial mimicion Learning)では、特定の報酬セットにおいて、専門家の政策からそのパフォーマンスを区別できないように、専門家のデモンストレーションからポリシーを学習することを目的としている。 GAILをオンラインとオフラインの両方で線形関数近似を用いて検討し、その変換関数と報酬関数は特徴写像において線形である。
  論文  参考訳（メタデータ） (2021-08-19T16:16:00Z)
• Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation [91.58443042554903]
  FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。 PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。 最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
  論文  参考訳（メタデータ） (2021-03-31T02:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。