論文の概要: Language Fairness in Multilingual Information Retrieval

• arxiv url: http://arxiv.org/abs/2405.00978v1
• Date: Thu, 2 May 2024 03:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:54:29.249909
• Title: Language Fairness in Multilingual Information Retrieval
• Title（参考訳）: 多言語情報検索における言語フェアネス
• Authors: Eugene Yang, Thomas Jänich, James Mayfield, Dawn Lawrie,
• Abstract要約: 本研究は,異なる言語にまたがる文書が適切にランク付けされているかどうかを評価するための言語公正度尺度を提案する。 群フェアネスにおける多くの先行研究とは対照的に、いかなる言語も保護されていない群とはみなさない。 提案手法であるPEERは,MLIRシステムの言語フェアネスを捉えるために特別に設計された最初のフェアネス尺度である。
• 参考スコア（独自算出の注目度）: 9.358582006140903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual information retrieval (MLIR) considers the problem of ranking documents in several languages for a query expressed in a language that may differ from any of those languages. Recent work has observed that approaches such as combining ranked lists representing a single document language each or using multilingual pretrained language models demonstrate a preference for one language over others. This results in systematic unfair treatment of documents in different languages. This work proposes a language fairness metric to evaluate whether documents across different languages are fairly ranked through statistical equivalence testing using the Kruskal-Wallis test. In contrast to most prior work in group fairness, we do not consider any language to be an unprotected group. Thus our proposed measure, PEER (Probability of EqualExpected Rank), is the first fairness metric specifically designed to capture the language fairness of MLIR systems. We demonstrate the behavior of PEER on artificial ranked lists. We also evaluate real MLIR systems on two publicly available benchmarks and show that the PEER scores align with prior analytical findings on MLIR fairness. Our implementation is compatible with ir-measures and is available at http://github.com/hltcoe/peer_measure.
• Abstract（参考訳）: MLIR(Multilingual Information Search)は、これらの言語と異なる可能性のある言語で表現されたクエリに対して、複数の言語で文書をランク付けする問題を考える。 近年の研究では、1つの文書言語を表すランクリストの組み合わせや、多言語事前学習言語モデルの使用といったアプローチが、他言語よりも1つの言語を好むことを示している。 これにより、異なる言語の文書を体系的に不公平に扱うことができる。 本研究は,Kruskal-Wallis テストを用いて,各言語にまたがる文書が,統計的等価性テストによって適切にランク付けされているかどうかを評価するための言語フェアネス尺度を提案する。 群フェアネスにおける多くの先行研究とは対照的に、いかなる言語も保護されていない群とはみなさない。 そこで,提案手法であるPEER(Probability of EqualExpected Rank)は,MLIRシステムの言語フェアネスを捉えるために考案された最初のフェアネス尺度である。 人工ランクリスト上でPEERの挙動を示す。 また,2つの公開ベンチマーク上で実際のMLIRシステムを評価し,PEERスコアがMLIRの公正性に関する以前の分析結果と一致していることを示す。 実装はir-measuresと互換性があり、http://github.com/hltcoe/peer_measureで利用可能です。

関連論文リスト

• What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models [8.618945530676614]
  本稿では,中国語,英語,ドイツ語,ポルトガル語,スペイン語の5言語から,多言語辞書の性別バイアスを推定する手法を提案する。 ジェンダーバイアスのより堅牢な分析のための文対を生成するために,新しいモデルに基づく手法を提案する。 以上の結果から,複数の評価指標をベストプラクティスとして用いた大規模データセットでは,性別バイアスを研究すべきであることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T21:12:08Z)
• Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [15.619421104102516]
  本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T20:26:03Z)
• Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval [62.82448161570428]
  このデータセットは、多言語情報検索コンテキストにおける公平性を調べるために設計されている。 真正な多言語コーパスを持ち、24言語すべてに翻訳されたトピックを特徴としている。 文書に関連する豊富な人口統計情報を提供し、人口統計バイアスの研究を容易にする。
  論文  参考訳（メタデータ） (2023-11-03T12:29:11Z)
• A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing Prediction of Political Polarity in Multilingual News Headlines [0.0]
  対象言語における推論知識を取得するために,翻訳と検索の手法を用いる。 次に、重要な推論を強調するために注意機構を使用します。 我々は、それぞれの政治的極性に注釈を付けた5つのヨーロッパ言語で62.6K以上の多言語ニュースの見出しを提示する。
  論文  参考訳（メタデータ） (2022-12-01T06:07:01Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。