論文の概要: Language Fairness in Multilingual Information Retrieval

• arxiv url: http://arxiv.org/abs/2405.00978v1
• Date: Thu, 2 May 2024 03:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:54:29.249909
• Title: Language Fairness in Multilingual Information Retrieval
• Title（参考訳）: 多言語情報検索における言語フェアネス
• Authors: Eugene Yang, Thomas Jänich, James Mayfield, Dawn Lawrie,
• Abstract要約: 本研究は,異なる言語にまたがる文書が適切にランク付けされているかどうかを評価するための言語公正度尺度を提案する。 群フェアネスにおける多くの先行研究とは対照的に、いかなる言語も保護されていない群とはみなさない。 提案手法であるPEERは,MLIRシステムの言語フェアネスを捉えるために特別に設計された最初のフェアネス尺度である。
• 参考スコア（独自算出の注目度）: 9.358582006140903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual information retrieval (MLIR) considers the problem of ranking documents in several languages for a query expressed in a language that may differ from any of those languages. Recent work has observed that approaches such as combining ranked lists representing a single document language each or using multilingual pretrained language models demonstrate a preference for one language over others. This results in systematic unfair treatment of documents in different languages. This work proposes a language fairness metric to evaluate whether documents across different languages are fairly ranked through statistical equivalence testing using the Kruskal-Wallis test. In contrast to most prior work in group fairness, we do not consider any language to be an unprotected group. Thus our proposed measure, PEER (Probability of EqualExpected Rank), is the first fairness metric specifically designed to capture the language fairness of MLIR systems. We demonstrate the behavior of PEER on artificial ranked lists. We also evaluate real MLIR systems on two publicly available benchmarks and show that the PEER scores align with prior analytical findings on MLIR fairness. Our implementation is compatible with ir-measures and is available at http://github.com/hltcoe/peer_measure.
• Abstract（参考訳）: MLIR(Multilingual Information Search)は、これらの言語と異なる可能性のある言語で表現されたクエリに対して、複数の言語で文書をランク付けする問題を考える。 近年の研究では、1つの文書言語を表すランクリストの組み合わせや、多言語事前学習言語モデルの使用といったアプローチが、他言語よりも1つの言語を好むことを示している。 これにより、異なる言語の文書を体系的に不公平に扱うことができる。 本研究は,Kruskal-Wallis テストを用いて,各言語にまたがる文書が,統計的等価性テストによって適切にランク付けされているかどうかを評価するための言語フェアネス尺度を提案する。 群フェアネスにおける多くの先行研究とは対照的に、いかなる言語も保護されていない群とはみなさない。 そこで,提案手法であるPEER(Probability of EqualExpected Rank)は,MLIRシステムの言語フェアネスを捉えるために考案された最初のフェアネス尺度である。 人工ランクリスト上でPEERの挙動を示す。 また,2つの公開ベンチマーク上で実際のMLIRシステムを評価し,PEERスコアがMLIRの公正性に関する以前の分析結果と一致していることを示す。 実装はir-measuresと互換性があり、http://github.com/hltcoe/peer_measureで利用可能です。

関連論文リスト

• Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
  最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。 しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。 本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-12-21T04:05:43Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness [30.00463676754559]
  49言語にまたがる14kのウィキペディア文書と組み合わせた720の領域紛争クエリからなるベンチマークであるBordIRLinesを紹介した。 実験の結果,多言語文書を検索することで応答の整合性が向上し,純言語文書よりも地政学的バイアスが低減されることがわかった。 言語間RAGがIRから文書の内容にどのように影響するかについて、さらなる実験と事例研究を行った。
  論文  参考訳（メタデータ） (2024-10-02T01:59:07Z)
• Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [15.619421104102516]
  本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T20:26:03Z)
• A Commonsense-Infused Language-Agnostic Learning Framework for Enhancing Prediction of Political Polarity in Multilingual News Headlines [0.0]
  対象言語における推論知識を取得するために,翻訳と検索の手法を用いる。 次に、重要な推論を強調するために注意機構を使用します。 我々は、それぞれの政治的極性に注釈を付けた5つのヨーロッパ言語で62.6K以上の多言語ニュースの見出しを提示する。
  論文  参考訳（メタデータ） (2022-12-01T06:07:01Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。