論文の概要: When the Label Ignores the Request: Auditing Policy-Selected Targets in Synthetic Conversational Music Recommendation

• arxiv url: http://arxiv.org/abs/2609.39696v1
• Date: Wed, 30 Sep 2026 13:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.827709
• Title: When the Label Ignores the Request: Auditing Policy-Selected Targets in Synthetic Conversational Music Recommendation
• Title（参考訳）: ラベルが要求を無視する時:合成会話音楽推薦における政策選択対象の監査
• Abstract要約: 公式なラベルは、監査された開発ターンの半数でユーザの正確な歌声要求と矛盾していることを示す。 これは1つのベンチマーク以上の問題だ。実際の音楽検索において、望ましい項目の命名が主な目的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic dialogues generated by LLM pipelines now serve as complete conversational-recommendation benchmarks: an LLM listener talks to an LLM recommender, and the track logged next in the conversation becomes the official label for each turn. These policy-selected labels make large-scale evaluation reproducible, but they are proxies for what the simulated user asked. We audit the one place where label and request are directly comparable: turns where the user asks for an exact song by name. In the RecSys Challenge 2026 TalkPlay benchmark, using visible dialogue and catalog metadata alone, we find that the official label contradicts the user's exact-song request in half of the audited development turns. This matters beyond one benchmark: naming the desired item is the dominant intent in real music search, where deployed systems avoid substituting an alternative for an exactly named item, on the premise that it costs satisfaction. A small training-time supplement closes most of the gap: adding catalog-resolved request-satisfying targets to a small fraction of training turns yields a 53.3% relative gain in nDCG@20 on the 43 conflict turns while leaving the official metric intact, verified against a matched control that detects the same requests but trains only on official labels.
• Abstract（参考訳）: LLMパイプラインが生成する合成対話は、LLMリスナーがLLMレコメンデータと話し、次にログされたトラックが各ターンの公式ラベルとなる。 これらのポリシー選択されたラベルは、大規模な評価再現が可能であるが、シミュレーションされたユーザが何を求めたかのプロキシである。 私たちは、ラベルとリクエストが直接比較される場所を監査します。 RecSys Challenge 2026 TalkPlayベンチマークでは、目に見える対話とカタログメタデータだけで、公式ラベルは、監査された開発ターンの半分でユーザの正確な音声要求と矛盾している。 望まれる項目の命名は、実際の音楽検索において支配的な意図であり、デプロイされたシステムは、満足度を犠牲とする前提で、正確に指定された項目の代替品に代わることを避ける。 少量のトレーニングターンにカタログ解決された要求満足目標を追加すると、43の競合ターンでnDCG@20が53.3%上昇し、公式のメトリクスはそのまま残され、一致した制御に対して検証され、同じ要求を検出するが、公式のラベルでのみ訓練される。

関連論文リスト

• TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
  TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。 効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。 コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-09-27T06:58:39Z)
• Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
  外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。 我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。 オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
  論文  参考訳（メタデータ） (2026-08-23T03:07:03Z)
• Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models [3.376024929309146]
  本研究では,文脈拡張型言語モデルシステムが読者モデル行動に与える影響について検討する。 本稿では,500 MMLU-Pro 項目の固定コンテンツプローブについて紹介する。 各項目は、異なる談話ロールラベルの下で同じ誤解を招く答えを持つアサーションを受け取る。 GPT-5.5, DeepSeek V4 Pro, Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Misleading Adoption Rate shifts by 56-84%
  論文  参考訳（メタデータ） (2026-06-02T18:12:57Z)
• MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks [68.78064578688809]
  MTR-Suiteは、監査、合成、ベンチマーク検索のための統合されたフレームワークである。 1)従来のベンチマークでアライメントギャップを定量化するためのLCMベースの監査装置であるMTR-Eval,(2)グリーディクラスタリングを用いたマルチエージェントシステムであるMTR-Pipeline,(3)厳格な一般ベンチマークであるMTR-Benchなどが特徴である。
  論文  参考訳（メタデータ） (2026-05-20T05:26:35Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment [54.72137309071243]
  AlpsBenchはWildChatからキュレートされた2500の長期的相互作用配列から構成され、人間によって検証された構造化記憶と組み合わせられる。 我々は、パーソナライズされた情報抽出、更新、検索、利用の4つの重要なタスクを定義し、メモリ管理のライフサイクル全体を評価するためのプロトコルを確立する。 i)モデルが潜在ユーザ特性を確実に抽出するのに苦労していること、(ii)メモリ更新が最強モデルでもパフォーマンス天井に直面すること、(iii)大きなイントラクタプールの存在下での検索精度が急激に低下すること、(iv)明示的なメモリ機構がリコールを改善する一方で、リコールは行わないこと、などである。
  論文  参考訳（メタデータ） (2026-03-09T11:06:19Z)
• Unsupervised End-to-End Task-Oriented Dialogue with LLMs: The Power of the Noisy Channel [9.082443585886127]
  タスク指向の対話システムは一般的に、APIと対話するためにターンレベルのアノテーションを必要とする。 ラベルなしデータとスキーマ定義は、完全に教師なしの作業タスク指向対話システムを構築するのに十分である。 本稿では,ターンレベルのアノテーションを潜在変数として推論する予測最大化(EM)を用いた革新的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-23T16:51:26Z)
• Understanding Inter-Session Intentions via Complex Logical Reasoning [50.199811535229045]
  論理セッション複雑質問応答(LS-CQA)の課題について述べる。 セッション,項目,属性を集約したハイパーグラフ上で,LS-CQAタスクとして複雑な意図理解の問題をモデル化する。 新たなモデルであるLSGT(Logical Session Graph Transformer)を導入し,各セッション間のインタラクションとその論理的接続をキャプチャする。
  論文  参考訳（メタデータ） (2023-12-21T14:03:30Z)
• Interactive Question Clarification in Dialogue via Reinforcement Learning [36.746578601398866]
  本来のクエリの改良を提案することにより,曖昧な質問を明確にする強化モデルを提案する。 モデルは、深いポリシーネットワークで強化学習を使用して訓練されます。 実世界のユーザクリックに基づいてモデルを評価し,大幅な改善を示す。
  論文  参考訳（メタデータ） (2020-12-17T06:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。