論文の概要: NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling
Social Norm Adherence and Violation
- arxiv url: http://arxiv.org/abs/2310.14563v2
- Date: Wed, 25 Oct 2023 02:00:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 11:03:26.661946
- Title: NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling
Social Norm Adherence and Violation
- Title(参考訳): normdial:社会的規範の遵守と違反をモデル化する、同等のバイリンガル合成ダイアログデータセット
- Authors: Oliver Li, Mallika Subramanian, Arkadiy Saakyan, Sky CH-Wang, Smaranda
Muresan
- Abstract要約: 本稿では,中国とアメリカの文化に対する社会規範順守と違反をターン・バイ・ターンでアノテーションで記述した高品質なダイアディック対話データセットを提案する。
我々のデータセットは中国語と英語の両方で人工的に生成される。
- 参考スコア(独自算出の注目度): 18.605252945314724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social norms fundamentally shape interpersonal communication. We present
NormDial, a high-quality dyadic dialogue dataset with turn-by-turn annotations
of social norm adherences and violations for Chinese and American cultures.
Introducing the task of social norm observance detection, our dataset is
synthetically generated in both Chinese and English using a human-in-the-loop
pipeline by prompting large language models with a small collection of
expert-annotated social norms. We show that our generated dialogues are of high
quality through human evaluation and further evaluate the performance of
existing large language models on this task. Our findings point towards new
directions for understanding the nuances of social norms as they manifest in
conversational contexts that span across languages and cultures.
- Abstract(参考訳): 社会的規範は基本的に対人コミュニケーションを形成する。
本稿では,中国とアメリカの文化に対する社会的規範の遵守と違反に関するターンバイターンアノテーションを備えた,高品質なdyadic対話データセットであるnormdialを提案する。
社会規範検出のタスクの導入により,我々のデータセットは中国語と英語の両方で,専門家が注釈付けした社会規範の小さなコレクションで大規模言語モデルを促すことによって,人文パイプラインを用いて合成的に生成される。
提案する対話は,人間の評価を通じて高品質であり,既存の大規模言語モデルの性能をさらに評価する。
本研究は、言語や文化にまたがる会話的文脈に現れる社会規範のニュアンスを理解するための新しい方向性を示唆する。
関連論文リスト
- RENOVI: A Benchmark Towards Remediating Norm Violations in
Socio-Cultural Conversations [46.634702800643566]
ReNoViは、社会規範に注釈を付けた9,258のマルチターン対話からなる大規模なコーパスである。
ReNoViは512の人間による対話(実データ)と、ChatGPTが素早い学習を通じて生成した8,746の合成会話からなる。
論文 参考訳(メタデータ) (2024-02-17T03:13:42Z) - Your spouse needs professional help: Determining the Contextual
Appropriateness of Messages through Modeling Social Relationships [7.415975372963896]
個人間の社会的関係を明示的にモデル化することで、不適切なコミュニケーションを識別する新しいアプローチを導入する。
大規模言語モデルでは、関係情報を組み込んで、与えられた文脈における適切性を正確に識別できることが示される。
また、文脈的適切性判断は、抑揚や丁寧さなどの言語で表される他の社会的要因の予測であることを示す。
論文 参考訳(メタデータ) (2023-07-06T04:06:05Z) - Sociocultural Norm Similarities and Differences via Situational
Alignment and Explainable Textual Entailment [31.929550141633218]
本研究では,中国文化とアメリカ文化にまたがる社会規範の発見と比較のための新しいアプローチを提案する。
我々は、中国とアメリカの文化の社会状況に合わせて、3,069の社会的規範の高品質なデータセットを構築します。
モデルが文化全体にわたって社会的規範を推論する能力をテストするために,説明可能な社会的規範の包含という課題を導入する。
論文 参考訳(メタデータ) (2023-05-23T19:43:47Z) - Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳(メタデータ) (2023-05-06T23:11:25Z) - SocialDial: A Benchmark for Socially-Aware Dialogue Systems [45.3266270265532]
中国社会文化を基盤とした初の社会認識対話コーパス「SocialDial」を提示する。
SocialDialは2つの部分から構成される:2人の話者間の1,563のマルチターン対話と、ChatGPTによって生成された4,870の合成会話である。
人間のコーパスには5つの社会的規範があり、合計で14のサブカテゴリがある。
論文 参考訳(メタデータ) (2023-04-24T11:55:22Z) - NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations
On-the-Fly [61.77957329364812]
本稿では,対話型多言語・多文化規範発見の新たな課題に対処する枠組みを提案する。
NormSAGEはノルム発見タスクと会話コンテキストを表す有向質問を通じてノルムに関する知識を導き出す。
さらに、発見される規範が正しいことを保証する自己検証メカニズムにより、言語モデル幻覚のリスクに対処する。
論文 参考訳(メタデータ) (2022-10-16T18:30:05Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - Ethical-Advice Taker: Do Language Models Understand Natural Language
Interventions? [62.74872383104381]
読解システムにおける自然言語介入の有効性について検討する。
本稿では,新たな言語理解タスクであるLingguistic Ethical Interventions (LEI)を提案する。
論文 参考訳(メタデータ) (2021-06-02T20:57:58Z) - On the Use of Linguistic Features for the Evaluation of Generative
Dialogue Systems [17.749995931459136]
言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。
この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。
特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
論文 参考訳(メタデータ) (2021-04-13T16:28:00Z) - Can You be More Social? Injecting Politeness and Positivity into
Task-Oriented Conversational Agents [60.27066549589362]
人間エージェントが使用する社会言語は、ユーザーの応答性の向上とタスク完了に関連しています。
このモデルは、ソーシャル言語理解要素で拡張されたシーケンスからシーケンスまでのディープラーニングアーキテクチャを使用する。
人的判断と自動言語尺度の両方を用いたコンテンツ保存と社会言語レベルの評価は,エージェントがより社会的に適切な方法でユーザの問題に対処できる応答を生成できることを示している。
論文 参考訳(メタデータ) (2020-12-29T08:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。