論文の概要: RENOVI: A Benchmark Towards Remediating Norm Violations in Socio-Cultural Conversations

• arxiv url: http://arxiv.org/abs/2402.11178v1
• Date: Sat, 17 Feb 2024 03:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:47:40.785255
• Title: RENOVI: A Benchmark Towards Remediating Norm Violations in Socio-Cultural Conversations
• Title（参考訳）: RENOVI: 社会・文化会話におけるノーム違反の迅速化のためのベンチマーク
• Authors: Haolan Zhan, Zhuang Li, Xiaoxi Kang, Tao Feng, Yuncheng Hua, Lizhen Qu, Yi Ying, Mei Rianto Chandra, Kelly Rosalin, Jureynolds Jureynolds, Suraj Sharma, Shilin Qu, Linhao Luo, Lay-Ki Soon, Zhaleh Semnani Azad, Ingrid Zukerman, Gholamreza Haffari
• Abstract要約: ReNoViは、社会規範に注釈を付けた9,258のマルチターン対話からなる大規模なコーパスである。 ReNoViは512の人間による対話(実データ)と、ChatGPTが素早い学習を通じて生成した8,746の合成会話からなる。
• 参考スコア（独自算出の注目度）: 46.634702800643566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Norm violations occur when individuals fail to conform to culturally accepted behaviors, which may lead to potential conflicts. Remediating norm violations requires social awareness and cultural sensitivity of the nuances at play. To equip interactive AI systems with a remediation ability, we offer ReNoVi - a large-scale corpus of 9,258 multi-turn dialogues annotated with social norms, as well as define a sequence of tasks to help understand and remediate norm violations step by step. ReNoVi consists of two parts: 512 human-authored dialogues (real data), and 8,746 synthetic conversations generated by ChatGPT through prompt learning. While collecting sufficient human-authored data is costly, synthetic conversations provide suitable amounts of data to help mitigate the scarcity of training data, as well as the chance to assess the alignment between LLMs and humans in the awareness of social norms. We thus harness the power of ChatGPT to generate synthetic training data for our task. To ensure the quality of both human-authored and synthetic data, we follow a quality control protocol during data collection. Our experimental results demonstrate the importance of remediating norm violations in socio-cultural conversations, as well as the improvement in performance obtained from synthetic data.
• Abstract（参考訳）: 規範違反は、個人が文化的に受け入れられた行動に従わない場合に起こり、潜在的な対立を引き起こす可能性がある。 規範違反の修正には社会的意識と遊びのニュアンスに対する文化的感受性が必要である。 対話型aiシステムに修復能力を持たせるために、社会規範を付記した9,258のマルチターン対話の大規模なコーパスであるrenoviと、規範違反の理解と修正を支援するタスクのシーケンスを段階的に定義する。 ReNoViは512の人間による対話(実データ)と、ChatGPTが素早い学習を通じて生成した8,746の合成会話からなる。 十分な人間によるデータ収集はコストがかかるが、合成会話はトレーニングデータの不足を軽減するのに適切な量のデータを提供し、社会規範の認識においてLLMと人間との整合性を評価する機会を提供する。 これにより、ChatGPTのパワーを利用して、タスクのための合成トレーニングデータを生成する。 人為的データと合成データの両方の品質を確保するため,データ収集時に品質制御プロトコルに従う。 本研究は, 社会文化的会話における規範違反の修正の重要性と, 合成データから得られる性能の向上を実証する。

関連論文リスト

• Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues [66.69453609603875]
  社会文化的規範は、社会的相互作用における個人的行為の指針となる。 大規模言語モデル(LLM)を用いた社会文化的ノルム(SCN)ベース構築のためのスケーラブルなアプローチを提案する。 我々は、包括的で広くアクセス可能な中国社会文化ノルムベースを構築した。
  論文  参考訳（メタデータ） (2024-10-04T00:08:46Z)
• Advancing AI with Integrity: Ethical Challenges and Solutions in Neural Machine Translation [0.0]
  本稿では,ニューラルネットワーク翻訳(NMT)システムにおける人工知能の倫理的課題について述べる。 NMTにおけるAIモデルの倫理的能力について検討する。 我々は,NMTの社会的影響と開発者の幅広い倫理的責任について論じ,これらを創造の社会的反感の原因となるスチュワードとして提示する。
  論文  参考訳（メタデータ） (2024-04-01T12:03:35Z)
• Improving Dialog Safety using Socially Aware Contrastive Learning [8.503001932363704]
  対人・カジュアル・ダイアログの文脈における社会性について検討する。 これらの問題に対処するための2段階の微調整プロセスを提案する。 私たちは、Moral Integrity Corpus(MIC)やProsocialDialogといったデータセットを活用することで、社会行動を統合するベースモデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-02-01T09:24:33Z)
• NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling Social Norm Adherence and Violation [18.605252945314724]
  本稿では,中国とアメリカの文化に対する社会規範順守と違反をターン・バイ・ターンでアノテーションで記述した高品質なダイアディック対話データセットを提案する。 我々のデータセットは中国語と英語の両方で人工的に生成される。
  論文  参考訳（メタデータ） (2023-10-23T04:38:34Z)
• WADER at SemEval-2023 Task 9: A Weak-labelling framework for Data augmentation in tExt Regression Tasks [4.102007186133394]
  本稿では、WADERと呼ばれるテキスト回帰タスクにおいて、データ拡張のための新しい弱ラベル方式を提案する。 我々は、WADERを用いて、事前訓練された多言語言語モデルの性能をベンチマークし、データのバイアスを軽減するためにサンプリング技術を用いて分析する。
  論文  参考訳（メタデータ） (2023-03-05T19:45:42Z)
• PLACES: Prompting Language Models for Social Conversation Synthesis [103.94325597273316]
  我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。 人工会話の徹底的な評価を,人間による会話と比較して行った。
  論文  参考訳（メタデータ） (2023-02-07T05:48:16Z)
• NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations On-the-Fly [61.77957329364812]
  本稿では,対話型多言語・多文化規範発見の新たな課題に対処する枠組みを提案する。 NormSAGEはノルム発見タスクと会話コンテキストを表す有向質問を通じてノルムに関する知識を導き出す。 さらに、発見される規範が正しいことを保証する自己検証メカニズムにより、言語モデル幻覚のリスクに対処する。
  論文  参考訳（メタデータ） (2022-10-16T18:30:05Z)
• Not All Errors are Equal: Learning Text Generation Metrics using Stratified Error Synthesis [79.18261352971284]
  人間のアノテーションを必要とせずに、人間の判断と高い相関関係を持つモデルベースの計量であるSESCOREを紹介する。 既存の指標に対してSESCOREを評価し,そのスコアと人間の評価との関係を比較検討した。 SESCOREは、人間による注釈付きトレーニングデータを受け取らず、最高の教師付きメトリックCOMETに匹敵するパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2022-10-10T22:30:26Z)
• NaturalSpeech: End-to-End Text to Speech Synthesis with Human-Level Quality [123.97136358092585]
  我々は、ベンチマークデータセット上で人間レベルの品質を実現するNaturalSpeechと呼ばれるTSシステムを開発した。 具体的には、波形生成のための変分オートエンコーダ(VAE)を利用する。 LJSpeechデータセットを用いた実験により,提案したNaturalSpeechは文レベルでの人間の記録に対して-0.01CMOSを達成した。
  論文  参考訳（メタデータ） (2022-05-09T16:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。