Fugu-MT 論文翻訳(概要): Average Is Not Enough: Caveats of Multilingual Evaluation

論文の概要: Average Is Not Enough: Caveats of Multilingual Evaluation

arxiv url: http://arxiv.org/abs/2301.01269v1
Date: Tue, 3 Jan 2023 18:23:42 GMT
ステータス: 処理完了
システム内更新日: 2023-01-04 14:30:50.996814
Title: Average Is Not Enough: Caveats of Multilingual Evaluation
Title（参考訳）: 平均は十分ではない:多言語評価の障壁
Authors: Mat\'u\v{s} Pikuliak and Mari\'an \v{S}imko
Abstract要約: このような偏見を検出するためには,比較言語学による質的分析が必要であると論じる。本稿では,本研究の結果が言語的に偏りがあることを示すとともに,onEL型データベースに基づく可視化が検出可能であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This position paper discusses the problem of multilingual evaluation. Using simple statistics, such as average language performance, might inject linguistic biases in favor of dominant language families into evaluation methodology. We argue that a qualitative analysis informed by comparative linguistics is needed for multilingual results to detect this kind of bias. We show in our case study that results in published works can indeed be linguistically biased and we demonstrate that visualization based on URIEL typological database can detect it.
Abstract（参考訳）: 本稿では,多言語評価の問題について論じる。平均的な言語性能のような単純な統計を用いて、言語バイアスを注入し、支配的な言語家族を評価方法論に注入する。このような偏見を検出するためには,比較言語学による質的分析が必要であると論じる。本稿では,本研究の結果が言語的に偏りがあることを示すとともに,URIEL型データベースに基づく可視化が検出可能であることを示す。

関連論文リスト

Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文参考訳（メタデータ） (2023-10-23T17:42:01Z)
On Evaluating and Mitigating Gender Biases in Multilingual Settings [5.248564173595024]
複数言語設定におけるバイアスの評価と緩和に関する課題について検討する。まず,事前学習したマスキング言語モデルにおいて,性別バイアスを評価するベンチマークを作成する。我々は、様々なデバイアス法を英語以上に拡張し、SOTAの大規模多言語モデルの有効性を評価する。
論文参考訳（メタデータ） (2023-07-04T06:23:04Z)
Multilingual Few-Shot Learning via Language Model Retrieval [18.465566186549072]
トランスフォーマーベースの言語モデルは、数ショットのインコンテキスト学習において顕著な成功を収めた。本研究は,意味論的に類似したショットサンプルを検索し,コンテキストとして利用する研究である。提案手法を,意図検出,質問分類,感情分析,話題分類に関連する5つの自然言語理解データセット上で評価した。
論文参考訳（メタデータ） (2023-06-19T14:27:21Z)
Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
論文参考訳（メタデータ） (2023-05-18T18:15:07Z)
An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。偏見探索の現在の手法は言語に依存していると結論付けている。
論文参考訳（メタデータ） (2022-11-25T23:38:08Z)
Easy Adaptation to Mitigate Gender Bias in Multilingual Text Classification [8.137681060429527]
ジェンダーをドメインとして扱い、標準領域適応モデルを示し、ジェンダーバイアスを低減する。ヘイトスピーチ検出とレーティング予測という2つのテキスト分類タスクに対するアプローチを評価し,提案手法の有効性を実証した。
論文参考訳（メタデータ） (2022-04-12T01:15:36Z)
Exploring Language Patterns in a Medical Licensure Exam Item Bank [0.25782420501870296]
この研究は、機械学習(ML)とNLPを使って、大きなアイテムバンク上で言語バイアスを探索する最初の試みである。類似したアイテムステムのクラスタ上でトレーニングされた予測アルゴリズムを用いて,本手法が潜在的にバイアスのある言語に対する大きなアイテムバンクのレビューに有効であることを示す。
論文参考訳（メタデータ） (2021-11-20T02:45:35Z)
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文参考訳（メタデータ） (2020-10-26T13:57:20Z)
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文参考訳（メタデータ） (2020-05-02T04:34:37Z)
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。我々の表現は類型学を組み込み、言語関係と相関関係を強化する。次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文参考訳（メタデータ） (2020-04-30T16:25:39Z)
On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
論文参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。