論文の概要: Can Generative Retrievers Learn Semantic IDs Without Forgetting How to Speak?

• arxiv url: http://arxiv.org/abs/2609.35430v1
• Date: Mon, 28 Sep 2026 15:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:30:56.363182
• Title: Can Generative Retrievers Learn Semantic IDs Without Forgetting How to Speak?
• Title（参考訳）: ジェネレーティブ・リトリバーは話し方を忘れずにセマンティック・IDを学習できるのか?
• Abstract要約: SpeakGRは、言語生成を保存しながらSIDを学習する、二重保存フレームワークである。 本稿では,観測言語ドリフトに基づく保存強度を動的に調整するAdaptive SpeakGRを提案する。
• 参考スコア（独自算出の注目度）: 9.250392589270211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative retrieval (GR) enables end-to-end retrieval by generating document semantic identifiers (SIDs). However, retrieval-only fine-tuning can over-specialize pretrained language models to SID prediction, substantially distorting their natural-language distribution and limiting their suitability for interactive systems that must both retrieve documents and generate natural-language responses. We introduce SpeakGR, a dual-objective framework that learns SIDs while preserving language generation. It combines supervised SID learning with speak-preserving regularization: an on-policy distillation objective that aligns the current model with a frozen copy of the original model on student-generated prefixes using forward KL over the original text vocabulary. We further propose Adaptive SpeakGR, which dynamically adjusts the preservation strength based on observed language drift. Compared with SFT-only, SpeakGR reduces WikiText-2 forward KL by 81.3-93.8% on MS MARCO and 81.2-85.2% on Natural Questions (NQ) while retaining effective retrieval across three different LLMs. Adaptive SpeakGR further improves retrieval over SpeakGR in most settings while maintaining substantially lower language drift than SFT-only.
• Abstract（参考訳）: 生成検索(GR)は、文書意味識別子(SID)を生成することによって、エンドツーエンドの検索を可能にする。 しかし、検索のみの微調整は、事前訓練された言語モデルをSID予測に過小評価し、その自然言語分布を実質的に歪め、文書の検索と自然言語応答の生成の両方を必要とする対話システムに対する適合性を制限できる。 本稿では,言語生成を保ちながらSIDを学習する2目的フレームワークであるSpeakGRを紹介する。 教師付きSID学習と音声保存正規化(英語版)を組み合わせることで、現行のモデルを、原文語彙上のフォワードKLを用いて、学生生成プレフィックス上のオリジナルのモデルの凍結コピーと整合させる、オンライン蒸留の目的である。 さらに、観察された言語ドリフトに基づいて保存強度を動的に調整するAdaptive SpeakGRを提案する。 SFTのみと比較して、SpeakGR は WikiText-2 forward KL を MS MARCO で81.3-93.8%、Natural Questions (NQ) で81.2-85.2%削減し、3つの異なる LLM で有効な検索を維持した。 Adaptive SpeakGRは、ほとんどの設定においてSpeakGR上の検索をさらに改善し、SFT専用よりも言語ドリフトが大幅に低い。

関連論文リスト

• Implicit Reasoning for Large Language Model-based Generative Recommendation [58.39432342044054]
  大きな言語モデル(LLM)は、ジェネレーティブレコメンデーション(GR)のバックボーンとしてますます採用されている GRのためにこの知識を確実に呼び出すことは 理解できない GRに適した軽量な暗黙的推論パラダイムPauseRecを提案する。
  論文  参考訳（メタデータ） (2026-06-12T06:04:05Z)
• Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation [19.750295463954853]
  Source-Grounded Semantic Reinforcement Learning (SG-SRL)は、オープンソースのモノリンガルデータをターゲット言語生成のための言語間セマンティック監視に変換するリソース活用フレームワークである。 SG-SRLは、言語間セマンティック報酬モデルを用いて、ソース言語データ上で参照なし強化学習(RL)を行う。 中国からタイにかけての実験では、SG-SRLはコールドスタートSFTよりも意味的接地と事実的カバレッジを改善している。
  論文  参考訳（メタデータ） (2026-05-28T07:27:16Z)
• Latent Abstraction for Retrieval-Augmented Generation [4.6096940605642915]
  既存のシステムは各ホップで自然言語クエリを生成することに依存している。 我々は,単一のLLMが符号化,検索,生成を同時に行う統一的なフレームワークである textbfLAnR (Latent Abstraction for RAG) を提案する。
  論文  参考訳（メタデータ） (2026-04-20T06:26:13Z)
• ZeroGR: A Generalizable and Scalable Framework for Zero-Shot Generative Retrieval [125.19156877994612]
  生成検索(GR)は、情報検索(IR)を文書識別子(ドシデント)の生成としてフレーミングすることによって再構成する 我々は、自然言語命令を利用して幅広いIRタスクにわたってGRを拡張するゼロショット生成検索フレームワークであるtextscZeroGRを提案する。 具体的には、textscZeroGRは、3つのキーコンポーネントで構成されている: (i)不均一な文書を意味的に意味のあるドシデントに統一するLMベースのドシデントジェネレータ; (ii)自然言語タスク記述から様々なタイプのクエリを生成し、拡張する命令チューニングクエリジェネレータ。
  論文  参考訳（メタデータ） (2025-10-12T03:04:24Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。