論文の概要: Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models

• arxiv url: http://arxiv.org/abs/2403.12809v1
• Date: Tue, 19 Mar 2024 15:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:44:06.799093
• Title: Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models
• Title（参考訳）: 多言語・単言語微調整言語モデルにおける説明の忠実度の比較
• Authors: Zhixue Zhao, Nikolaos Aletras,
• Abstract要約: FA忠実度は多言語モデルと単言語モデルの間で異なることを示す。 多言語モデルが大きいほど、FAが忠実でないほど、そのモノリンガルモデルと比較される。 さらに分析したところ、忠実さの相違はモデルトークン化器の違いによって引き起こされる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 39.503228364872434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many real natural language processing application scenarios, practitioners not only aim to maximize predictive performance but also seek faithful explanations for the model predictions. Rationales and importance distribution given by feature attribution methods (FAs) provide insights into how different parts of the input contribute to a prediction. Previous studies have explored how different factors affect faithfulness, mainly in the context of monolingual English models. On the other hand, the differences in FA faithfulness between multilingual and monolingual models have yet to be explored. Our extensive experiments, covering five languages and five popular FAs, show that FA faithfulness varies between multilingual and monolingual models. We find that the larger the multilingual model, the less faithful the FAs are compared to its counterpart monolingual models.Our further analysis shows that the faithfulness disparity is potentially driven by the differences between model tokenizers. Our code is available: https://github.com/casszhao/multilingual-faith.
• Abstract（参考訳）: 多くの実際の自然言語処理アプリケーションシナリオにおいて、実践者は予測性能を最大化するだけでなく、モデル予測に対する忠実な説明を求める。 特徴帰属法(FA)によって与えられる合理的かつ重要な分布は、入力の異なる部分がどのように予測に寄与するかについての洞察を提供する。 これまでの研究では、異なる要因が、主にモノリンガル英語モデルの文脈において、忠実性にどのように影響するかが研究されてきた。 一方,多言語モデルと単言語モデルとのFA忠実度の違いについては,まだ検討されていない。 5つの言語と5つのポピュラーなFAを網羅した大規模な実験は、FAの忠実度が多言語モデルと単言語モデルの間で異なることを示している。 我々は,多言語モデルが大きいほど,FAの信頼度が低いほど,そのモノリンガルモデルと比較されることを見出した。 私たちのコードは、https://github.com/casszhao/multilingual-faith.comで利用可能です。

関連論文リスト

• Do Multilingual Large Language Models Mitigate Stereotype Bias? [9.31741279000585]
  この研究は、英語、ドイツ語、フランス語、イタリア語、スペイン語で同じ大きさの6つのLLMを体系的に訓練する。 単言語モデルと比較して,多言語モデルの方がバイアスの低いだけでなく,予測精度も優れていることが観察された。
  論文  参考訳（メタデータ） (2024-07-08T08:46:50Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
  SeaEvalは多言語基盤モデルのベンチマークである。 これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。 また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
  論文  参考訳（メタデータ） (2023-09-09T11:42:22Z)
• Are Pretrained Multilingual Models Equally Fair Across Languages? [0.0]
  この研究は多言語モデルの群フェアネスを調査し、これらのモデルが言語間で等しく公平かどうかを問う。 我々は、MozArt上の3つの多言語モデル(mBERT、XLM-R、mT5)を評価し、これらのモデルが4つの対象言語で異なるグループ格差を示すことを示す。
  論文  参考訳（メタデータ） (2022-10-11T13:59:19Z)
• MonoByte: A Pool of Monolingual Byte-level Language Models [4.491765479948667]
  同じ構成で厳格に事前訓練された10のモノリンガルバイトレベルのモデルをリリースする。 トークンを含まないため、目に見えないトークン埋め込みの問題は排除される。 QAタスクとNLIタスクの実験は、我々のモノリンガルモデルがマルチリンガルモデルと競合する性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-09-22T14:32:48Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• Structure-Level Knowledge Distillation For Multilingual Sequence Labeling [73.40368222437912]
  本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。 25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
  論文  参考訳（メタデータ） (2020-04-08T07:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。