論文の概要: EtiCor: Corpus for Analyzing LLMs for Etiquettes
- arxiv url: http://arxiv.org/abs/2310.18974v1
- Date: Sun, 29 Oct 2023 10:47:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 14:59:44.136149
- Title: EtiCor: Corpus for Analyzing LLMs for Etiquettes
- Title(参考訳): EtiCor:EtiquettesのLCM分析コーパス
- Authors: Ashutosh Dwivedi, Pradhyumna Lavania, Ashutosh Modi
- Abstract要約: 我々は,エティケテスコーパスであるEtiCorを提案する。
コーパスは、地域固有のエチケットの知識と理解のためにLSMを評価するためのテストベッドを提供する。
- 参考スコア(独自算出の注目度): 5.259087610534564
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Etiquettes are an essential ingredient of day-to-day interactions among
people. Moreover, etiquettes are region-specific, and etiquettes in one region
might contradict those in other regions. In this paper, we propose EtiCor, an
Etiquettes Corpus, having texts about social norms from five different regions
across the globe. The corpus provides a test bed for evaluating LLMs for
knowledge and understanding of region-specific etiquettes. Additionally, we
propose the task of Etiquette Sensitivity. We experiment with state-of-the-art
LLMs (Delphi, Falcon40B, and GPT-3.5). Initial results indicate that LLMs,
mostly fail to understand etiquettes from regions from non-Western world.
- Abstract(参考訳): エチケットは、人々の日々の交流の重要な要素である。
さらに、エチケットは地域特有であり、ある地域のエチケットは他の地域と矛盾する可能性がある。
本稿では,世界5地域からの社会規範に関するテキストを収録したエチケットコーパスであるeticorを提案する。
コーパスは、地域固有のエチケットの知識と理解のためにLSMを評価するためのテストベッドを提供する。
また,Etiquette Sensitivityの課題を提案する。
現状のLLM (Delphi, Falcon40B, GPT-3.5) を実験した。
最初の結果は、llmは、ほとんどが非西洋世界の地域からの礼儀作法を理解していないことを示している。
関連論文リスト
- NORMAD: A Benchmark for Measuring the Cultural Adaptability of Large Language Models [26.64843536942309]
大規模言語モデルがアウトプットを多様な文化的規範に適応できるかどうかは不明である。
我々は75カ国の社会的・文化的規範を表す2.6kストーリーを含む新しいデータセットであるNormAdを紹介した。
我々の研究は、LLMがあらゆる文脈の粒度にわたる文化的推論に苦慮していることを明らかにした。
論文 参考訳(メタデータ) (2024-04-18T18:48:50Z) - CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [68.37589899302161]
110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。
文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
論文 参考訳(メタデータ) (2024-04-16T00:50:43Z) - CLIM: Contrastive Language-Image Mosaic for Region Representation [58.05870131126816]
Contrastive Language-Image Mosaic (CLIM) は、領域とテキストの表現を整合させる新しいアプローチである。
CLIMは、異なるオープン語彙オブジェクト検出方法を一貫して改善する。
視覚言語モデルの領域表現を効果的に強化することができる。
論文 参考訳(メタデータ) (2023-12-18T17:39:47Z) - Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。
我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
論文 参考訳(メタデータ) (2023-12-14T18:34:06Z) - Systematic Rectification of Language Models via Dead-end Analysis [34.37598463459319]
大型言語モデル(LLM)は有害な談話を生成するためにプッシュされる。
ここでは、完了した談話が最終的に有毒と考えられる確率について、デトックス化を中心とする。
我々の手法は整流化と呼ばれ、別個のモデルを用いるが、デトキシ化には著しく小さいモデルを用いる。
論文 参考訳(メタデータ) (2023-02-27T17:47:53Z) - Aligning Bag of Regions for Open-Vocabulary Object Detection [74.89762864838042]
本稿では,各地域を超えて,各地域のバッグを埋め込む方法を提案する。
提案手法は,バッグとしてコンテキスト的相互関連領域をグループ化する。
オープンボキャブラリCOCOとLVISベンチマークの新たなカテゴリでは,従来の4.6ボックスAP50と2.8マスクAPよりも優れている。
論文 参考訳(メタデータ) (2023-02-27T17:39:21Z) - American cultural regions mapped through the lexical analysis of social
media [1.8199326045904993]
本研究は,マイクロブログ投稿からの大規模データセットの自動解析に基づいて,文化的地域を推定する手法を導入することで,この方向への重要な一歩を踏み出した。
特に、記述された言論の地域的変化は、アメリカのソーシャルメディアで測定される。
この低次元空間におけるデータの階層的クラスタリングを通じて、この手法は明確な文化的領域とそれらを定義する議論のトピックを生み出す。
論文 参考訳(メタデータ) (2022-08-16T10:18:47Z) - GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained
Language Models [68.50584946761813]
我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。
我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。
1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
論文 参考訳(メタデータ) (2022-05-24T17:54:50Z) - Broaden the Vision: Geo-Diverse Visual Commonsense Reasoning [49.04866469947569]
地理的・地理的・地理的な共通点を理解する視覚・言語モデルの能力をテストするために,Geo-Diverse Visual Commonsense Reasoning dataset(GD-VCR)を構築した。
その結果,東アジア,南アジア,アフリカを含む非西欧地域での両モデルの性能は,西欧地域に比べて著しく低いことがわかった。
論文 参考訳(メタデータ) (2021-09-14T17:52:55Z) - Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。
我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
論文 参考訳(メタデータ) (2020-10-12T14:24:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。