論文の概要: Reasoning Reranking with Semantic IDs as the Sole Item Representation
- arxiv url: http://arxiv.org/abs/2610.22797v1
- Date: Fri, 16 Oct 2026 01:21:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.726236
- Title: Reasoning Reranking with Semantic IDs as the Sole Item Representation
- Title(参考訳): ソレ項目表現としてのセマンティックIDを用いた推論
- Abstract要約: 言い換えるリランカーは、候補者のスレートをランク付けする前に根拠を書きます。
SIDプロンプトは一致した項目のテキストよりもはるかに短い。
我々はReRankIDを構築した。ReRankIDは、履歴から推論とランクをモデル化し、SIDとしてのみ表示される。
- 参考スコア(独自算出の注目度): 12.940749100627535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning rerankers write a rationale before ranking a candidate slate, and existing systems read item metadata to do so, even though generative recommenders increasingly represent items as compact Semantic IDs (SIDs). Ranking from SIDs alone has two appeals: SID prompts are far shorter than the matched item text, and although item codes are fixed from content, the backbone learns their token embeddings in part from user-item interaction sequences, so the tokens can carry behavioral signal that item text lacks. That training targets next-item generation, and whether it supports ranking a supplied slate from SIDs alone is untested. We build ReRankID, a controlled testbed in which models reason and rank from a history and slate shown only as SIDs, varying item rendering, history length, and slate size one at a time. On this testbed, such models often copy the input order instead of reranking, and readable metadata does not repair the failure. We compare supervised fine-tuning, rejection-sampled self-training, on-policy distillation, and verifier-based reinforcement learning as post-training methods and find that they elicit the missing behavior. The strongest post-trained model, the 8B model trained with a graded ranking reward, gives the best SID-only ranking and matches strong text-reading LLMs whose prompts are about 20x longer. It ranks above random with no history at all, where a caption-reading reference does not, and it keeps its gains at long histories, where text prompts pass 50k tokens and the caption-reading reference stops improving. In a paired rationale audit, this model argues trade-offs better than that reference but describes items less accurately. The common post-training methods we test thus elicit ranking from SIDs but not faithful item descriptions, which calls for post-training that improves the reasoning itself, not only the ranking it produces.
- Abstract(参考訳): 推論リランカは、候補のスレートをランク付けする前に合理的に記述し、既存のシステムはアイテムのメタデータを読み取るが、生成レコメンデーションは、アイテムをコンパクトなセマンティックID(SID)として表現する傾向にある。
SIDプロンプトはマッチしたアイテムテキストよりもはるかに短く、アイテムコードはコンテンツから固定されているが、バックボーンはユーザとイテムのインタラクションシーケンスからトークンの埋め込みを学習するため、トークンはアイテムテキストが欠落する振る舞いの信号を運ぶことができる。
このトレーニングは次世代をターゲットにしており、SIDのみから供給されたスレートのランク付けをサポートするかどうかは不明だ。
我々はReRankIDを構築した。ReRankIDは、履歴からの推論とランクをモデルとし、SID、さまざまなアイテムレンダリング、履歴長、スレートサイズを1回に1回だけ表示する。
このテストベッドでは、そのようなモデルはリランクではなく入力順序をコピーすることが多く、読みやすいメタデータは障害を修復しない。
教師付き微調整, 拒否型自己訓練, オンライン蒸留, 検証者による強化学習をポストトレーニング法として比較し, 欠落した行動を誘発することを確認した。
最強の訓練後モデルである8Bモデルは、ランク付けされた報酬で訓練され、最高のSIDのみのランキングを与え、プロンプトが約20倍長くなる強力なテキスト読み取り LLM にマッチする。
文字が50kのトークンを転送し、キャプション読みの参照が改善しないという長い歴史を保っている。
ペア化された合理性監査では、このモデルは、その参照よりもトレードオフの方が優れているが、アイテムを正確に記述しない。
テストするポストトレーニングの一般的な方法は、SIDからランキングを引き出すが、忠実な項目記述は求めない。
関連論文リスト
- Personalized LLM Recommendation with Semantic IDs: Autoregressive Beam Search vs. Multi-Token Prediction [38.58784050114887]
大規模パーソナライゼーションは、埋め込みテーブル検索から、アイテムのセマンティックID(SID)を生成して推奨するLCMベースのレコメンデータへと移行している。
伝統的に、モデルは単一の言語モデリングヘッドに依存しており、通常は制約されたビームサーチを用いてトークンを自動回帰的に生成する。
対照的に、新しい研究機関はマルチトークン予測(MTP)を探求し、専用の頭が全てのトークンを並列に予測し、ビームサーチに伴う復号遅延を大幅に低減する。
論文 参考訳(メタデータ) (2026-10-11T19:33:28Z) - Beyond Semantic IDs: Finite-Beam Reachability and Continuous-Query Generation in Generative Recommendation [15.519683317169575]
ソーシャルメディアプラットフォームのジェネレーティブレコメンデーション(GR)は、有限幅ビームサーチによる離散セマンティックID(SID)の自動復号化によってアイテムを検索する。
本研究では、この出力インターフェースが有限返却リストに入るか否かを制約し、カタログ全体のスコアビリティを経験的トップKサポートと区別する方法について検討する。
CQG-Singleは1つのパスで1つの検索クエリを生成し、CQG-ARは連続的な更新を自動回帰的に生成し、SID項目の単語を削除しながらステップワイズデコーディングを保持する。
論文 参考訳(メタデータ) (2026-10-09T04:23:08Z) - From Interests to Semantic IDs: Retrieval-Grounded Credit Assignment for Generative Recommendation [40.653957284912146]
より一般的な拡張であるReasoning-enhanced variantは、まずテキストトレースを生成し、次にビームサーチによって次のitem SIDをデコードする。
このようなリコメンデータは、大規模なカタログでは不十分な厳密なSID報酬の下で、グループ相対的なポリシー最適化で訓練されることが多い。
このギャップを検索型クエリ属性で解決する。
Amazon Reviewsデータセットの3つの実験を通じて、SIDレコメンデーションが一貫した改善をもたらす。
論文 参考訳(メタデータ) (2026-09-24T15:34:11Z) - Guiding the coarse levels of semantic IDs makes the fine levels learnable [9.576854834471993]
本稿では,建設においてもっとも意味のあるレベルを規定するガイド付きSIDを紹介する。
Trie-mergeの構築は、高カーディナリティや設定値の属性を固定コード予算にマッピングします。
SIDエンコーディングでのみ異なる一致したエンドツーエンドのA/Bでは、ガイド付きレトリバーは、測定したリスト長毎にrecall@kを改善します。
論文 参考訳(メタデータ) (2026-09-03T01:54:14Z) - Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders [37.16464474575651]
マルチトークンドクIDを用いたポイントワイズ生成ランキングはデュアルエンコーダよりも優れていることを示す。
SToICaLは、アイテムとトークンのレベルの両方において、ランク対応の監視を組み込むことができるシンプルなトークンの校正損失である。
論文 参考訳(メタデータ) (2026-01-09T07:16:28Z) - Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [44.31597857713689]
最初の段階でActive Indexingを導入し、一般化可能なソースアンコールバインディングを作成します。
Qwen-2.5-7B&3Bの実験は、アクティブインデックスがパッシブインデックスのベースラインを一貫して上回っていることを示している。
内部の引用は、モデルを検索ノイズに対してより堅牢にすることで、外部の引用を補完する。
論文 参考訳(メタデータ) (2025-06-21T04:48:05Z) - Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。
TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
論文 参考訳(メタデータ) (2025-03-08T03:14:26Z) - FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。
実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。
以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
論文 参考訳(メタデータ) (2024-06-21T21:27:50Z) - Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
大きな言語モデル(LLM)のトレーニングに関する主要な関心事は、著作権のあるオンラインテキストを悪用するかどうかである。
本稿では,Web ユーザとコンテンツプラットフォームがtextbftextitunique 識別子を,信頼性と独立性のあるメンバシップ推論に活用することを提唱する,代替の textitinsert-and-detect 手法を提案する。
論文 参考訳(メタデータ) (2024-03-23T06:36:32Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z) - CycAs: Self-supervised Cycle Association for Learning Re-identifiable
Descriptions [61.724894233252414]
本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。
既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。
疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
論文 参考訳(メタデータ) (2020-07-15T09:52:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。