論文の概要: Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline

• arxiv url: http://arxiv.org/abs/2605.27440v1
• Date: Fri, 22 May 2026 17:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.275136
• Title: Paraphrase Brittleness in Production Retrieval-Augmented Commercial Recommendation: Reproducibility Below the Rerun-Stability Baseline
• Title（参考訳）: 生産再開型商業レコメンデーションにおけるパラフレーズの脆さ--リラン安定ベースラインの下の再現性-
• Authors: Will Jack, Noah Lehman, Keller Maloney, Sarah Xu,
• Abstract要約: 購入者が質問をどう表現するかの小さな変更は、AIアシスタントとはかなり異なるブランドレコメンデーションを生み出している。 6000のパラフレーズランと6000の同じプロンプトリランコントロールでは、同じ購入意図の2つのパラフレーズの類似性は0.288である。 プロンプト文字列は、下層の買い手意図ではなく、ブランドが提示する主要なインプットである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small changes to how a buyer phrases a question -- "best CRM" vs "top CRM" vs "best CRM for a SaaS startup" -- produce substantially different brand recommendations from AI assistants. Across ~6,000 paraphrase runs and ~6,000 same-prompt rerun controls on OpenAI and Anthropic models, the recommendation-set similarity (Jaccard) between two paraphrases of the same underlying buying intent is 0.288 for cosmetic rewordings (clustered 95% CI [0.215, 0.361]) and 0.135 for constraint-adding rewordings ([0.098, 0.175], pooling region/language and specificity-ladder axes) -- both far below the 0.50-0.61 same-prompt rerun baseline. The prompt string, not the underlying buyer intent, is the dominant input to which brands surface. Increasing reasoning effort does not narrow the gap (bounded by +/-0.05). This is a direct challenge to an increasingly popular AEO/GEO practice. Tracking a brand's "AI visibility" by counting brand mentions over a fixed set of prompts produces a metric whose dominant source of variance is which paraphrase the tracker happens to issue, not the model's behavior toward the brand: the same buyer intent in two natural paraphrases produces recommendation sets that overlap 14-29% in Jaccard versus 50-61% for same-prompt reruns. Sampling more paraphrases per intent reduces the artifact in principle, and efficient multi-prompt evaluation methods exist in the academic literature, but the natural buyer-phrasing space is much larger than the benchmark-scale prompt sets those methods have been validated on, and far beyond what any commercial tracker issues per brand-intent combination. Prompt-by-prompt mention tracking is therefore structurally unstable as a unit of measurement; meaningful improvement likely requires a different unit rather than a larger prompt set.
• Abstract（参考訳）: 購入者が質問を "ベストCRM" と "トップCRM" と "SaaSスタートアップのためのベストCRM" とどのように表現するかの小さな変更は,AIアシスタントとはかなり異なるブランドレコメンデーションを生み出している。 約6,000のパラフレーズ実行と約6,000の同一プロンプト再実行制御、同じ購入意図の2つのパラフレーズ間の推奨セット類似性(ジャカード)は、化粧品リワード(95% CI [0.215, 0.361])の0.288と制約付加リワード([0.098, 0.175]、領域/言語および特異性ラダー軸)の0.135である。 プロンプト文字列は、下層の買い手意図ではなく、ブランドが提示する主要なインプットである。 推論の努力の増加はギャップを狭めない(+/-0.05)。 これは、ますます人気のあるAEO/GEOプラクティスに対する直接的な挑戦です。 ブランドの「AI可視性」を数えることでブランドの「AI可視性」を追跡することで、特定のプロンプトのセットを数えることで、ブランドに対するモデルの振る舞いではなく、トラッカーが問題となるような分散の根源となる指標が生成される: 2つの自然なパラフレーズにおける同じ買い手意図は、ジャカードで14～29%、同じプロンプトで50～61%と重複するレコメンデーションセットを生成する。 意図ごとのパラフレーズのサンプリングは、原則としてアーティファクトを減らし、学術文献に効率的なマルチプロンプト評価手法が存在するが、自然購入者記述空間は、これらの手法が検証されたベンチマークスケールプロンプトセットよりもはるかに大きく、ブランドインテントの組み合わせごとに商業的なトラッカーの問題よりもはるかに大きい。 したがって、プロンプト・バイ・プロンプト(prompt-by-prompt)の言及追跡は、測定単位として構造的に不安定である。

関連論文リスト

• When Does Synthetic Patent Data Help? Volume-Fidelity Trade-offs in Low-Resource Multi-Label Classification [0.0]
  BERT-for-PatentsのマイクロF1の改良は,主に体積効果を反映していることが示されている。 生のマイクロF1における分類性能を+0.58まで向上させるコーパスは、ジャカードオーバーラップ検索プロキシに悪影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2026-05-22T23:49:52Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
  インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。 トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。 本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。 また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
  論文  参考訳（メタデータ） (2026-04-14T18:19:54Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
  大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。 過度に考える傾向は、必然的に長い推論連鎖に繋がる。 我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
  論文  参考訳（メタデータ） (2025-05-23T14:17:56Z)
• Process Reward Models That Think [85.06022494911811]
  ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。 この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。 我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
  論文  参考訳（メタデータ） (2025-04-23T15:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。