論文の概要: NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations On-the-Fly

• arxiv url: http://arxiv.org/abs/2210.08604v2
• Date: Sat, 13 Jan 2024 22:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 03:47:58.314422
• Title: NormSAGE: Multi-Lingual Multi-Cultural Norm Discovery from Conversations On-the-Fly
• Title（参考訳）: normsage: オンザフライ会話からの多言語多文化標準発見
• Authors: Yi R. Fung, Tuhin Chakraborty, Hao Guo, Owen Rambow, Smaranda Muresan, Heng Ji
• Abstract要約: 本稿では,対話型多言語・多文化規範発見の新たな課題に対処する枠組みを提案する。 NormSAGEはノルム発見タスクと会話コンテキストを表す有向質問を通じてノルムに関する知識を導き出す。 さらに、発見される規範が正しいことを保証する自己検証メカニズムにより、言語モデル幻覚のリスクに対処する。
• 参考スコア（独自算出の注目度）: 61.77957329364812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Norm discovery is important for understanding and reasoning about the acceptable behaviors and potential violations in human communication and interactions. We introduce NormSage, a framework for addressing the novel task of conversation-grounded multi-lingual, multi-cultural norm discovery, based on language model prompting and self-verification. NormSAGE leverages the expressiveness and implicit knowledge of the pretrained GPT-3 language model backbone, to elicit knowledge about norms through directed questions representing the norm discovery task and conversation context. It further addresses the risk of language model hallucination with a self-verification mechanism ensuring that the norms discovered are correct and are substantially grounded to their source conversations. Evaluation results show that our approach discovers significantly more relevant and insightful norms for conversations on-the-fly compared to baselines (>10+% in Likert scale rating). The norms discovered from Chinese conversation are also comparable to the norms discovered from English conversation in terms of insightfulness and correctness (<3% difference). In addition, the culture-specific norms are promising quality, allowing for 80% accuracy in culture pair human identification. Finally, our grounding process in norm discovery self-verification can be extended for instantiating the adherence and violation of any norm for a given conversation on-the-fly, with explainability and transparency. NormSAGE achieves an AUC of 95.4% in grounding, with natural language explanation matching human-written quality.
• Abstract（参考訳）: 規範発見は、人間のコミュニケーションや相互作用において許容される行動や潜在的な侵害を理解し、推論するために重要である。 言語モデルと自己検証に基づく対話型多言語・多文化規範発見の新たな課題に対処するフレームワークであるNormSageを紹介した。 NormSAGEは、事前訓練されたGPT-3言語モデルのバックボーンの表現力と暗黙の知識を活用し、ノルム発見タスクと会話コンテキストを表す有向質問を通してノルムに関する知識を引き出す。 さらに、言語モデルの幻覚のリスクにも対処し、発見された規範が正し、ソースの会話に実質的に基づいていることを保証する自己検証機構を備える。 評価の結果,本手法はベースライン (>10+%) と比較して, 会話の質が有意に高く, 洞察力に富んでいることがわかった。 中国語の会話から発見された基準は、洞察力と正しさの点で英語の会話から発見された基準に匹敵する(3%差)。 さらに、文化固有の規範は品質に有望であり、文化のペアの人間の識別において80%の精度が得られる。 最後に、我々の標準発見自己検証の基盤化プロセスは、説明可能性と透明性を持って、与えられた会話の標準の遵守と違反をインスタンス化するために拡張することができる。 normsageのaucは95.4%で、自然言語による説明は人間が書いた品質に合致する。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Normative Requirements Operationalization with Large Language Models [3.456725053685842]
  規範的な非機能要件は、社会的、法的、倫理的、共感的、文化的規範の違反を避けるために、システムが観察しなければならない制約を規定する。 近年の研究では、規範的要件を特定するためにドメイン固有言語を使用してこの問題に対処している。 本稿では,システム機能の抽象表現間の意味的関係を抽出するために,大規模言語モデルを用いた補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-18T17:01:34Z)
• Detecting value-expressive text posts in Russian social media [0.0]
  我々は、ロシアのソーシャルメディアVKontakteで価値表現ポストを正確に検出できるモデルを見つけることを目指していた。 5,035ポストのトレーニングデータセットは、3人の専門家、304人のクラウドワーカー、ChatGPTによって注釈付けされた。 ChatGPTはより一貫性があったが、スパム検出に苦労した。
  論文  参考訳（メタデータ） (2023-12-14T14:18:27Z)
• NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling Social Norm Adherence and Violation [18.605252945314724]
  本稿では,中国とアメリカの文化に対する社会規範順守と違反をターン・バイ・ターンでアノテーションで記述した高品質なダイアディック対話データセットを提案する。 我々のデータセットは中国語と英語の両方で人工的に生成される。
  論文  参考訳（メタデータ） (2023-10-23T04:38:34Z)
• NormMark: A Weakly Supervised Markov Model for Socio-cultural Norm Discovery [46.16583206206433]
  既存の標準認識手法は、対話の表面レベルの特徴にのみ焦点をあてる傾向にある。 確率的生成マルコフモデルであるNormMarkを提案する。 提案手法は,GPT3を含む最先端の手法よりも高いF1スコアが得られることを示す。
  論文  参考訳（メタデータ） (2023-05-26T03:03:37Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• On Reality and the Limits of Language Data: Aligning LLMs with Human Norms [10.02997544238235]
  大規模言語モデル (LLMs) は、実践的な応用のために、膨大な自然言語データの言語関連性を利用する。 我々は,この問題を,新規かつ厳密に制御された推論テスト(ART)を用いて探求し,人間の規範とGPT-3のバージョンを比較した。 我々の研究は、データや弱点から直接学習できる常識関係モデルのカテゴリに注目した。
  論文  参考訳（メタデータ） (2022-08-25T10:21:23Z)
• Ethical-Advice Taker: Do Language Models Understand Natural Language Interventions? [62.74872383104381]
  読解システムにおける自然言語介入の有効性について検討する。 本稿では,新たな言語理解タスクであるLingguistic Ethical Interventions (LEI)を提案する。
  論文  参考訳（メタデータ） (2021-06-02T20:57:58Z)
• Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
  本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。 探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。 実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-11T20:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。