論文の概要: Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study

• arxiv url: http://arxiv.org/abs/2502.02451v1
• Date: Tue, 04 Feb 2025 16:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:17.719605
• Title: Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study
• Title（参考訳）: 非英語談話におけるモラル基礎の自動測定と中国語の事例研究
• Authors: Calvin Yixiang Cheng, Scott A Hale,
• Abstract要約: 本研究では、非英語コーパスにおける道徳的基礎(MF)を測定するための計算手法について検討する。 本研究は,中国語を事例として,機械翻訳テキスト,局所言語語彙,多言語言語モデル,および多言語モデル(LLM)に英語リソースを適用し,非英語テキストのMFを測定することの有効性を評価する。
• 参考スコア（独自算出の注目度）: 8.068626035121875
• License:
• Abstract: This study explores computational approaches for measuring moral foundations (MFs) in non-English corpora. Since most resources are developed primarily for English, cross-linguistic applications of moral foundation theory remain limited. Using Chinese as a case study, this paper evaluates the effectiveness of applying English resources to machine translated text, local language lexicons, multilingual language models, and large language models (LLMs) in measuring MFs in non-English texts. The results indicate that machine translation and local lexicon approaches are insufficient for complex moral assessments, frequently resulting in a substantial loss of cultural information. In contrast, multilingual models and LLMs demonstrate reliable cross-language performance with transfer learning, with LLMs excelling in terms of data efficiency. Importantly, this study also underscores the need for human-in-the-loop validation of automated MF assessment, as the most advanced models may overlook cultural nuances in cross-language measurements. The findings highlight the potential of LLMs for cross-language MF measurements and other complex multilingual deductive coding tasks.
• Abstract（参考訳）: 本研究では、非英語コーパスにおける道徳的基礎(MF)を測定するための計算手法について検討する。 ほとんどの資源は主に英語向けに開発されているため、道徳的基礎理論のクロス言語的応用は限定的のままである。 本研究は,中国語を事例として,機械翻訳テキスト,局所言語語彙,多言語言語モデル,および多言語モデル(LLM)に英語リソースを適用し,非英語テキストのMFを測定することの有効性を評価する。 以上の結果から,機械翻訳と局所語彙アプローチは複雑な道徳的評価には不十分であることが示唆された。 対照的に、多言語モデルとLLMはトランスファーラーニングによる信頼性の高いクロスランゲージ性能を示し、LLMはデータ効率の点で優れている。 重要なことは、最も先進的なモデルは言語横断測定における文化的ニュアンスを見落としているため、自動MFアセスメントの人間-イン-ザ-ループ検証の必要性も浮き彫りにしている。 この結果から,多言語MF測定や他の複雑な多言語推論符号化タスクにおけるLLMの可能性が浮き彫りになった。

関連論文リスト

• Exploring Large Language Models for Translating Romanian Computational Problems into English [0.0]
  本研究では,ロバストな大規模言語モデル(LLM)が,十分に構造化されたプロンプトを与えられた場合,あまり一般的でない言語を翻訳する際に,その性能を維持あるいは向上できることを示す。 OpenRoLLM, Llama 3.1 8B, Llama 3.2 3B, GPT-4o など, 複数の LLM の翻訳手法について検討した。
  論文  参考訳（メタデータ） (2025-01-09T22:17:44Z)
• Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
  本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。 我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
  論文  参考訳（メタデータ） (2024-07-17T11:26:47Z)
• Disce aut Deficere: Evaluating LLMs Proficiency on the INVALSI Italian Benchmark [12.729687989535359]
  大規模言語モデル(LLM)を英語以外の言語で評価することは、その言語的汎用性、文化的妥当性、そして多様なグローバルな文脈における適用性を保証するために不可欠である。 InVALSIテストは、イタリア全土の教育能力を測定するために設計された、確立された評価セットである。
  論文  参考訳（メタデータ） (2024-06-25T13:20:08Z)
• Language Ranker: A Metric for Quantifying LLM Performance Across High and Low-Resource Languages [48.40607157158246]
  大規模言語モデル(LLM)は、英語、ドイツ語、フランス語のような高リソース言語で、低リソース言語の能力は依然として不十分である。 内部表現を用いたLLM性能に基づいて,言語をベンチマークし,ランク付けするための固有測度であるLanguage Rankerを提案する。 分析の結果,高リソース言語は英語との類似度が高く,性能が優れ,低リソース言語は類似度が低いことがわかった。
  論文  参考訳（メタデータ） (2024-04-17T16:53:16Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。