論文の概要: CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge
- arxiv url: http://arxiv.org/abs/2404.06664v1
- Date: Wed, 10 Apr 2024 00:25:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 15:49:13.709396
- Title: CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge
- Title（参考訳）: 文化チーム:多文化知識の不足に対処するAI支援型インタラクティブレッドチーム
- Authors: Yu Ying Chiu, Liwei Jiang, Maria Antoniak, Chan Young Park, Shuyue Stella Li, Mehar Bhatia, Sahithya Ravi, Yulia Tsvetkov, Vered Shwartz, Yejin Choi,
- Abstract要約: 我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
- 参考スコア（独自算出の注目度）: 69.82940934994333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier large language models (LLMs) are developed by researchers and practitioners with skewed cultural backgrounds and on datasets with skewed sources. However, LLMs' (lack of) multicultural knowledge cannot be effectively assessed with current methods for developing benchmarks. Existing multicultural evaluations primarily rely on expensive and restricted human annotations or potentially outdated internet resources. Thus, they struggle to capture the intricacy, dynamics, and diversity of cultural norms. LLM-generated benchmarks are promising, yet risk propagating the same biases they are meant to measure. To synergize the creativity and expert cultural knowledge of human annotators and the scalability and standardizability of LLM-based automation, we introduce CulturalTeaming, an interactive red-teaming system that leverages human-AI collaboration to build truly challenging evaluation dataset for assessing the multicultural knowledge of LLMs, while improving annotators' capabilities and experiences. Our study reveals that CulturalTeaming's various modes of AI assistance support annotators in creating cultural questions, that modern LLMs fail at, in a gamified manner. Importantly, the increased level of AI assistance (e.g., LLM-generated revision hints) empowers users to create more difficult questions with enhanced perceived creativity of themselves, shedding light on the promises of involving heavier AI assistance in modern evaluation dataset creation procedures. Through a series of 1-hour workshop sessions, we gather CULTURALBENCH-V0.1, a compact yet high-quality evaluation dataset with users' red-teaming attempts, that different families of modern LLMs perform with accuracy ranging from 37.7% to 72.2%, revealing a notable gap in LLMs' multicultural proficiency.
- Abstract（参考訳）: 最前線の大規模言語モデル(LLM)は、歪んだ文化的背景を持つ研究者や実践家によって開発され、歪んだ情報源を持つデータセットに基づいている。
しかし、LLMの多文化知識の欠如は、現在のベンチマーク開発手法では効果的に評価できない。
既存の多文化評価は主に、高価で制限された人間のアノテーションや、時代遅れのインターネットリソースに依存している。
したがって、彼らは文化的規範の複雑さ、ダイナミクス、多様性を捉えるのに苦労している。
LLMが生成するベンチマークは有望だが、彼らが測定するのと同じバイアスを伝播するリスクがある。
人間のアノテータの創造性と専門的な文化的知識とLLMベースの自動化のスケーラビリティと標準化性を相乗化するために,我々は,人間とAIのコラボレーションを活用し,LLMの多文化的知識を評価するための真に困難な評価データセットを構築するために,アノテータの能力と経験を改善しつつ,インタラクティブなレッドチームシステムであるCulturalTeamingを紹介した。
我々の研究は、CulturalTeamingのAIアシストの様々なモードが、現代のLSMがゲーミフィケードな方法で失敗する文化的な疑問を生み出すのにアノテータを支援することを明らかにした。
重要なことは、AIアシストのレベルが高まったこと(LLM生成のヒントなど)により、ユーザーは自分自身の創造性を高めて、より難しい質問を作成できるようになる。
CULTURALBENCH-V0.1は、ユーザによるリピートの試みによるコンパクトで高品質な評価データセットであり、現代のLLMのさまざまなファミリーが37.7%から72.2%の精度で実行し、LLMの多文化的習熟度に顕著なギャップがあることを明らかにする。
関連論文リスト
- LLM-GLOBE: A Benchmark Evaluating the Cultural Values Embedded in LLM Output [8.435090588116973]
LLMの文化的価値システムを評価するためのLLM-GLOBEベンチマークを提案する。
次に、このベンチマークを利用して、中国とアメリカのLLMの値を比較します。
提案手法は,オープンエンドコンテンツの評価を自動化する新しい"LLMs-as-a-Jury"パイプラインを含む。
論文 参考訳（メタデータ） (2024-11-09T01:38:55Z) - Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。
提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。
実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2024-10-30T17:35:44Z) - Investigating the Role of Cultural Values in Adopting Large Language Models for Software Engineering [17.818350887316004]
本研究は,ソフトウェア開発における大規模言語モデル(LLM)導入における専門家の文化的価値の役割に焦点を当てた。
LLM導入の主要因は習慣やパフォーマンスの期待度であるが,文化的価値はそれほど緩やかではない。
論文 参考訳（メタデータ） (2024-09-08T10:58:45Z) - Benchmarking Cognitive Domains for LLMs: Insights from Taiwanese Hakka Culture [4.467334566487944]
本研究では,文化的知識の理解と処理において,大規模言語モデル(LLM)の性能を評価するためのベンチマークを提案する。
この研究は、記憶、理解、応用、分析、評価、創造という6つの認知領域にわたるLLMを体系的に評価する多次元フレームワークを開発する。
その結果,すべての認知領域,特に文化知識の正確な検索と応用を必要とするタスクにおいて,RAGの有効性が強調された。
論文 参考訳（メタデータ） (2024-09-03T02:50:04Z) - Translating Across Cultures: LLMs for Intralingual Cultural Adaptation [12.5954253354303]
文化適応の課題を定義し,現代LLMの性能を評価するための評価枠組みを構築した。
我々は、自動適応で起こりうる問題を解析する。
本稿は, LLMの文化的理解と, 異文化のシナリオにおける創造性について, より深い知見を提供していくことを願っている。
論文 参考訳（メタデータ） (2024-06-20T17:06:58Z) - Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
大規模言語モデル(LLM)は、かなりの常識的理解を示している。
本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
論文 参考訳（メタデータ） (2024-05-07T20:28:34Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-04-18T15:21:34Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - CDEval: A Benchmark for Measuring the Cultural Dimensions of Large Language Models [41.885600036131045]
CDEvalは、大規模言語モデルの文化的側面を評価するためのベンチマークである。
GPT-4の自動生成と人間による検証の両方を取り入れて構築され、7つの領域にわたる6つの文化的次元をカバーする。
論文 参考訳（メタデータ） (2023-11-28T02:01:25Z) - CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。
CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
論文 参考訳（メタデータ） (2023-06-15T15:49:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。