論文の概要: Useful Diversity or Hallucinated Variety? Persona-Conditioned Synthetic Query Generation for E-Commerce Search
- arxiv url: http://arxiv.org/abs/2610.35102v1
- Date: Mon, 26 Oct 2026 09:43:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.816005
- Title: Useful Diversity or Hallucinated Variety? Persona-Conditioned Synthetic Query Generation for E-Commerce Search
- Title(参考訳): 有能な多様性と有能な多様性 : Eコマース検索のためのペルソナ定義合成クエリ生成
- Abstract要約: 118,098 の合成ペアは、47フィールドのイギリスの自動車スキーマ上で、6つのLLMと9つのペルソナ条件のプロンプトファミリーによって生産された。
一致した4つのコントラストのすべてにおいて、IPIPパーソナリティバンドルがF1を改善することを示す。
4つの構文を持つ家族は最大で37%、IPIPは最低で28%である。
- 参考スコア(独自算出の注目度): 3.534082637890407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic supervision can bootstrap semantic parsers in new search domains, but prompt-induced diversity is useful only when generations are faithful to the structured intent. We explore this for cold-start e-commerce search: 118,098 synthetic pairs produced by 6 LLMs with 9 persona-conditioned prompt families on a 47-field UK automotive schema, against 1,214 human-annotated and 15,304 production queries. We show that the IPIP personality bundle improves parser F1 in all four matched contrasts (Holm-corrected $p<.001$), and all three bundles have a positive main effect over the complete $2^3$ grid. Syntax conditioning is the axis that moves generations towards real traffic. It also induces lexical diversity. Alignment sKL, the divergence between von Mises-Fisher distributions fitted to synthetic and human-annotated queries, is an unlabelled proxy for parser F1 ($ρ=-0.917$ against human queries written for simulated shopper scenarios, lower is closer). An LLM committee, checked against a blinded author pass, triages the 927 queries missed by every parser and labels 37% as hallucinated. Dropped constraints dominate. The four syntax-bearing families have the largest hallucinated shares, 38 to 42%, while IPIP alone has the lowest at 28%.
- Abstract(参考訳): 合成監督は、新しい検索ドメインでセマンティックパーサをブートストラップすることができるが、インテントに忠実な世代にのみ、プロンプト誘起の多様性が有用である。
118,098組の合成ペアを6LLMで製造し、47フィールドの英国自動車スキーマ上で9つのペルソナ条件のプロンプトファミリーを合成し、1,214の人間アノテーションと15,304の製品クエリに対して探索する。
これら4つのコントラスト(Holm-corrected $p<.001$)において、IPIPパーソナリティバンドルはパーサF1を改善し、これら3つのバンドルは完全な2^3$グリッドに対して肯定的な効果を持つことを示す。
構文条件付けは、世代が実際のトラフィックに向かって移動する軸である。
語彙の多様性も引き起こす。
アライメントsKL(Alignment sKL)は、合成クエリと人間アノテーションクエリに適合するvon Mises-Fisher分布の分岐であり、パーサF1(ρ=-0.917$)の非競合プロキシである。
盲目の著者パスに対してチェックされたLCM委員会は、すべてのパーサーが見逃した927のクエリをトリアージし、幻覚として37%のラベルを付けている。
落とされた制約が支配的だ。
4つの構文を持つ家族は最大で38~42%、IPIPは最低で28%である。
関連論文リスト
- Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark [0.0]
ネパール英語のコードスイッチによる会話音声は、音声認識において深刻な課題を呈している。
我々は、13,044の自発ポッドキャスト発話のベンチマークをキュレートする。
我々は、合成SFTが、自然発声音声への一次クロスドメイン転送を提供することを発見した。
論文 参考訳(メタデータ) (2026-10-22T07:41:21Z) - Large language models simulate intersectional synthetic identities with a budget of one to two dimensions [5.10573774891006]
我々は、Pew's American Trends Panelの15波にわたるすべての実際の交叉部分群に対して、人口統計学的対人法を検証した。
実際の回答者では、サブグループの意見は、その一意成分の加法和に概ね等しいが、アイデンティティが交差するにつれて2.5倍の差が生じる。
論文 参考訳(メタデータ) (2026-08-24T09:07:51Z) - Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation [51.56484100374058]
そこで我々は,Upworthy Research Archiveを用いて,シミュレート・トゥ・リアルな妥当性について検討する。
実際の聴衆の人口統計に基づく10人のパネルと、一般的な読者がクリックする確率をモデルに尋ねるゼロショットベースラインを比較した。
論文 参考訳(メタデータ) (2026-07-27T17:03:03Z) - From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models [41.36461541603076]
大規模言語モデル(LLM)の評価は多様なタスクとベンチマークにまたがる。
証拠は、調査する能力よりも、タスクを中心に組織化されている。
14の能力ドメインと91のサブスキルからなる多層分類を導入した。
論文 参考訳(メタデータ) (2026-07-24T10:49:50Z) - LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science [1.6143062786972913]
メソッドは理論駆動のコードブック、専門家のコード化された参照アノテーション、診断付きプロンプト最適化検索を組み合わせる。
210条の引用6,858件に展開され、3つのLCMは相当な引用レベルの合意に達した。
低レベルの知覚/運動記事は、高いレベルの認知記事よりも8.8のリアリズムポイントを獲得した。
論文 参考訳(メタデータ) (2026-06-14T03:03:40Z) - When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。
平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
論文 参考訳(メタデータ) (2026-05-25T15:57:11Z) - Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。
LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か?
277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文 参考訳(メタデータ) (2026-04-15T14:10:58Z) - The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models [0.0]
2つの正書法変種を同一言語内容と比較することにより,スクリプト税の定量化を行う。
mBERT と XLM-R にまたがって、高いフラッゲーションの正書法は、受精率を3.4倍に向上させる。
サブワードの断片化から「NLLパラドックス」を避けるために、文字単位のビット(BPC)を用いることで、情報コストが大幅に増加することが分かる。
論文 参考訳(メタデータ) (2026-01-19T14:45:40Z) - Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。