論文の概要: How Stylistic Similarity Shapes Preferences in Dialogue Dataset with User and Third Party Evaluations
- arxiv url: http://arxiv.org/abs/2507.10918v1
- Date: Tue, 15 Jul 2025 02:19:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-16 19:46:02.955414
- Title: How Stylistic Similarity Shapes Preferences in Dialogue Dataset with User and Third Party Evaluations
- Title（参考訳）: ユーザおよび第三者評価を用いた対話データセットの立体的類似度が嗜好をどう形作るか
- Authors: Ikumi Numaya, Shoji Moriya, Shiki Sato, Reina Akama, Jun Suzuki,
- Abstract要約: 本稿では,ユーザの好み,ユーザ自身の認識に基づく主観的スタイル的類似度,オープンドメイン対話設定において第三者評価者が注釈付けした客観的スタイル的類似度などを含む新しいデータセットを提案する。
ユーザの主観的スタイル的類似性は、第三者の目的的類似性とは異なる。
- 参考スコア（独自算出の注目度）: 14.44381280380712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in dialogue generation have broadened the scope of human-bot interactions, enabling not only contextually appropriate responses but also the analysis of human affect and sensitivity. While prior work has suggested that stylistic similarity between user and system may enhance user impressions, the distinction between subjective and objective similarity is often overlooked. To investigate this issue, we introduce a novel dataset that includes users' preferences, subjective stylistic similarity based on users' own perceptions, and objective stylistic similarity annotated by third party evaluators in open-domain dialogue settings. Analysis using the constructed dataset reveals a strong positive correlation between subjective stylistic similarity and user preference. Furthermore, our analysis suggests an important finding: users' subjective stylistic similarity differs from third party objective similarity. This underscores the importance of distinguishing between subjective and objective evaluations and understanding the distinct aspects each captures when analyzing the relationship between stylistic similarity and user preferences. The dataset presented in this paper is available online.
- Abstract（参考訳）: 近年の対話生成の進歩により、人間とボットの相互作用の範囲が拡大し、文脈的に適切な応答だけでなく、人間の感情や感受性の分析も可能になった。
先行研究は、ユーザとシステム間のスタイリスティックな類似性はユーザ印象を高める可能性があることを示唆しているが、主観的類似性と客観的類似性の区別はしばしば見過ごされる。
そこで本研究では,ユーザの好み,ユーザ自身の認識に基づく主観的スタイル的類似度,オープンドメイン対話設定において第三者評価者が注釈付けした客観的スタイル的類似度を含む,新たなデータセットを提案する。
構築したデータセットを用いて分析した結果,主観的スタイル的類似性とユーザの嗜好との間には強い正の相関が認められた。
ユーザの主観的スタイル的類似性は,第三者の目的的類似性と異なる。
このことは、主観的評価と客観的評価の区別の重要性を浮き彫りにして、スタイル的類似性とユーザ嗜好の関係を分析する際に、それぞれのキャプチャーの異なる側面を理解することの重要性を浮き彫りにしている。
本論文で紹介したデータセットはオンラインで公開されている。
関連論文リスト
- A Personalized Conversational Benchmark: Towards Simulating Personalized Conversations [112.81207927088117]
PersonaConvBenchは、大規模言語モデル(LLM)とのマルチターン会話におけるパーソナライズされた推論と生成を評価するためのベンチマークである。
我々は,複数の商用およびオープンソース LLM を統一的なプロンプト設定でベンチマークし,パーソナライズされた履歴を組み込むことで大幅な性能向上が得られることを観察した。
論文 参考訳（メタデータ） (2025-05-20T09:13:22Z) - Representation of perceived prosodic similarity of conversational feedback [3.7277730514654555]
スペクトルおよび自己教師型音声表現は、抽出されたピッチ特徴よりも韻律を符号化する。
コントラスト学習を通じて、人間の知覚に表現をさらに凝縮し、整列させることが可能である。
論文 参考訳（メタデータ） (2025-05-19T15:47:51Z) - Democratizing Reward Design for Personal and Representative Value-Alignment [10.1630183955549]
本稿では,対話型対話アライメント(Interactive-Reflective Dialogue Alignment)について紹介する。
本システムは,言語モデルに基づく嗜好誘導を通じて個々の価値定義を学習し,パーソナライズされた報酬モデルを構築する。
本研究は, 価値整合行動の多様な定義を示し, システムによって各人の独自の理解を正確に捉えることができることを示す。
論文 参考訳（メタデータ） (2024-10-29T16:37:01Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Understanding Subjectivity through the Lens of Motivational Context in Model-Generated Image Satisfaction [21.00784031928471]
画像生成モデルは、様々なアプリケーションでユビキタスになる可能性がある。
これらのモデルは、しばしば、普遍的な標準を仮定する人間の品質判断を用いて微調整され評価される。
主観性とその影響の規模を定量化するために, 異なるユースケースにおいて, 人間のアノテータ間で評価がどう異なるかを測定する。
論文 参考訳（メタデータ） (2024-02-27T01:16:55Z) - An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue
Systems [26.003947740875482]
ソーシャル対話タスクにおけるユーザ行動と主観的評価スコアの関係について検討する。
その結果, ユーザの発話が主である対話作業においては, 聞き取りや面接など, 発話数や単語数などの指標が重要な役割を担っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-01-10T01:02:26Z) - You Are What You Talk About: Inducing Evaluative Topics for Personality
Analysis [0.0]
評価言語データは ソーシャルメディアの急速な成長に よりアクセスしやすくなっています
本稿では,事前フィルタした評価テキストにトピックモデルを適用することで得られる評価トピックの概念を紹介する。
次に評価トピックを個々のテキスト作者にリンクして評価プロファイルを構築する。
論文 参考訳（メタデータ） (2023-02-01T15:04:04Z) - Dialogue History Matters! Personalized Response Selectionin Multi-turn
Retrieval-based Chatbots [62.295373408415365]
本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。
1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。
ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
論文 参考訳（メタデータ） (2021-03-17T09:42:11Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。
コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。
DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2020-06-17T21:02:40Z) - SubjQA: A Dataset for Subjectivity and Review Comprehension [52.13338191442912]
主観性と質問応答(QA)の関係について検討する。
主観性は、主観性とQAパフォーマンスのより複雑な相互作用があるにもかかわらず、QAの場合においても重要な特徴であることがわかった。
顧客レビューに基づいた英語のQAデータセット(SubjQA)をリリースし、6つの異なるドメインにまたがる質問や回答に対する主観的アノテーションを含む。
論文 参考訳（メタデータ） (2020-04-29T15:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。