論文の概要: IPQA: A Benchmark for Core Intent Identification in Personalized Question Answering

• arxiv url: http://arxiv.org/abs/2510.23536v1
• Date: Mon, 27 Oct 2025 17:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.637226
• Title: IPQA: A Benchmark for Core Intent Identification in Personalized Question Answering
• Title（参考訳）: IPQA:パーソナライズされた質問回答におけるコアインテント識別のためのベンチマーク
• Authors: Jieyong Kim, Maryam Amirizaniani, Soojin Yoon, Dongha Lee,
• Abstract要約: 情報ニーズを満たすために回答を選択する際にユーザが優先する意図という,中核的な意図の概念を紹介します。 ユーザが明示的に意図を述べないため、回答の選択において観測可能な行動パターンから中心的な意図を導き出す。 我々は、体系的なフィルタリング、LCMベースのアノテーション、厳密な品質管理を通じて、様々なドメインでデータセットを構築する。
• 参考スコア（独自算出の注目度）: 13.337602043970051
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intent identification serves as the foundation for generating appropriate responses in personalized question answering (PQA). However, existing benchmarks evaluate only response quality or retrieval performance without directly measuring intent identification capabilities. This gap is critical because without understanding which intents users prioritize, systems cannot generate responses satisfying individual information needs. To address this, we introduce the concept of core intents: intents users prioritize when selecting answers to satisfy their information needs. To evaluate these core intents, we propose IPQA, a benchmark for core Intent identification in Personalized Question Answering. Since users do not explicitly state their prioritized intents, we derive core intents from observable behavior patterns in answer selection, grounded in satisficing theory where users choose answers meeting their acceptance thresholds. We construct a dataset with various domains through systematic filtering, LLM-based annotation, and rigorous quality control combining automated verification with human validation. Experimental evaluations across state-of-the-art language models reveal that current systems struggle with core intent identification in personalized contexts. Models fail to identify core intents from user histories, with performance degrading as question complexity increases. The code and dataset will be made publicly available to facilitate future research in this direction.
• Abstract（参考訳）: インテント識別は、パーソナライズされた質問応答(PQA)において適切な応答を生成する基盤として機能する。 しかし、既存のベンチマークでは、意図の識別能力を直接測定することなく、応答品質や検索性能のみを評価する。 このギャップは、ユーザがどの意図を優先するかを理解せずに、システムは個々の情報のニーズを満たす応答を生成できないため、非常に重要である。 そこで本研究では,情報ニーズを満たすために回答を選択する際にユーザが優先する意図という,中核的な意図について紹介する。 これらの中核的意図を評価するため、パーソナライズされた質問回答における中核的意図識別のためのベンチマークであるIPQAを提案する。 ユーザが優先順位付けされた意図を明記しないため,回答選択における観察可能な行動パターンから中心的な意図を導出する。 自動検証と人間の検証を組み合わせた,体系的なフィルタリング,LCMに基づくアノテーション,厳密な品質管理を通じて,さまざまな領域でデータセットを構築した。 最先端の言語モデルに対する実験的評価により、現在のシステムはパーソナライズされたコンテキストにおける中核的な意図の識別に苦慮していることが明らかとなった。 モデルはユーザ履歴からコアインテントを特定することができず、問題は複雑化するにつれてパフォーマンスが低下する。 コードとデータセットは、この方向への将来の研究を促進するために公開されます。

関連論文リスト

• Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
  現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。 静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。 我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
  論文  参考訳（メタデータ） (2025-09-30T18:55:28Z)
• BESPOKE: Benchmark for Search-Augmented Large Language Model Personalization via Diagnostic Feedback [9.980170820190093]
  本稿では,検索強化された大規模言語モデルにおけるパーソナライズ評価のための現実的なベンチマークであるBESPOKEを提案する。 BESPOKEは、人間から直接、本物のチャットと検索履歴を収集することによって、現実的なものの両方を意図している。 我々は,情報探索タスクにおける効果的なパーソナライズのための重要な要件を明らかにする体系的な分析を行う。
  論文  参考訳（メタデータ） (2025-09-25T12:53:07Z)
• Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering [57.12316804290369]
  ユーザ固有の情報ニーズに質問応答システムを適用するためには,パーソナライゼーションが不可欠である。 本稿では,タスク固有の微調整を必要とせず,任意の大規模言語モデル (LLM) に適用可能な推論段階の方法として,思考の経路 (PoT) を提案する。 PoTは競争ベースラインを一貫して上回り、13.1%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-09-23T14:44:46Z)
• A Generative Framework for Personalized Sticker Retrieval [73.57899194210141]
  我々はパーソナライズされたステッカー検索のための新しい生成フレームワークであるPEARLを提案する。 i) ユーザ固有のステッカー嗜好を符号化するために,識別的ユーザ表現を学習するための表現学習モデルを設計し, (ii) ユーザのクエリ意図に合致したステッカーを生成するために, 新たな意図認識学習目標を提案する。 オフライン評価とオンラインテストの両方による実証的な結果は、PEARLが最先端の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-09-22T13:11:44Z)
• Exploring the Individuality and Collectivity of Intents behind Interactions for Graph Collaborative Filtering [9.740376003100437]
  本稿では,BIGCF (Bilateral Intent-Guided Graph Collaborative Filtering) に指定された新しい推薦フレームワークを提案する。 具体的には、因果的視点からユーザとイテムの相互作用を詳しく調べ、個別の意図の概念を提示する。 暗黙的なフィードバックの空間性に対抗するため、ユーザとアイテムの特徴分布はガウスベースのグラフ生成戦略を介して符号化される。
  論文  参考訳（メタデータ） (2024-05-15T02:31:26Z)
• Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations [16.99952884041096]
  生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。 具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
  論文  参考訳（メタデータ） (2024-01-21T10:15:36Z)
• Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
  本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。 ドメイン内データに基づく事前学習型言語モデルの利点を示す。 また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
  論文  参考訳（メタデータ） (2023-05-09T14:21:29Z)
• ARTA: Collection and Classification of Ambiguous Requests and Thoughtful Actions [35.557857101679296]
  ヒューマンアシストシステムは、曖昧なユーザリクエストに対して、慎重に適切なアクションを取らなければならない。 あいまいなユーザリクエストを対応するシステムアクションに分類するモデルを開発する。 実験により,PU学習法は一般的な正負学習法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-06-15T09:28:39Z)
• Interactive Question Clarification in Dialogue via Reinforcement Learning [36.746578601398866]
  本来のクエリの改良を提案することにより,曖昧な質問を明確にする強化モデルを提案する。 モデルは、深いポリシーネットワークで強化学習を使用して訓練されます。 実世界のユーザクリックに基づいてモデルを評価し,大幅な改善を示す。
  論文  参考訳（メタデータ） (2020-12-17T06:38:04Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)
• IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems [80.0781718687327]
  我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。 IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
  論文  参考訳（メタデータ） (2020-02-03T05:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。