論文の概要: Auditing Cross-Lingual Fairness in Language Model Watermarking
- arxiv url: http://arxiv.org/abs/2608.20047v1
- Date: Thu, 20 Aug 2026 13:48:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.58869
- Title: Auditing Cross-Lingual Fairness in Language Model Watermarking
- Title（参考訳）: 言語モデルウォーターマーキングにおける言語間公正性の検討
- Abstract要約: 大規模な言語モデル出力のための透かしスキームは、ほとんど英語のテキストに基づいて評価される。
多言語展開は、英語では不適切だが言語横断的に結論を決定する評価設計の選択を公開する。
そこで本研究では,展開状況毎に経験的に校正された検出しきい値,しきい値非依存の相同性測定,3つの不整合品質測定パラダイム,タイプロジカルな家族分割に対する言語間格差の一般化エントロピー分解の4つの要素による評価フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 42.312814306968136
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Watermarking schemes for large language model output are evaluated almost exclusively on English text using each scheme's detection threshold and a narrow set of quality measurements. Multilingual deployment exposes evaluation-design choices that are inconsequential on English but determine conclusions cross-lingually. We propose an evaluation framework with four components: detection thresholds calibrated empirically per deployment context, a threshold-independent companion measurement that distinguishes calibration failures from detection failures, three disjoint quality measurement paradigms (distributional, paired-semantic, and reference-perplexity), and a generalized-entropy decomposition of cross-language disparity over a typological family partition. Applied to six watermarking schemes, three open-weight generators, eleven languages spanning four scripts and eight typological families, and both base and instruction-tuned regimes, the framework reveals failure modes that single-language single-paradigm evaluation cannot surface. Across detection and quality, observed disparity is predominantly between-family on the typological partition, indicating that cross-lingual fairness gaps in watermarking are structural to language properties rather than idiosyncratic to particular languages.
- Abstract（参考訳）: 大規模な言語モデル出力のための透かしスキームは、各スキームの検出しきい値と狭い品質測定値を用いて、ほとんど英語のテキストで評価される。
多言語展開は、英語では不適切だが言語横断的に結論を決定する評価設計の選択を公開する。
評価フレームワークは,展開状況毎に経験的に校正された検出しきい値,検出障害とキャリブレーション障害を区別するしきい値非依存の相補的測定,3つの相補的品質測定パラダイム(分布,ペア付きセマンティック,参照パープレクティリティ),およびタイプ的家族分割に対する言語間格差の一般化エントロピー分解である。
6つのウォーターマーキングスキーム、3つのオープンウェイトジェネレータ、11の言語が4つのスクリプトと8つのタイプボロジーファミリーにまたがっており、ベースとインストラクションを調整したレギュレーションにも適用されており、単一言語での単一パラダイム評価が表面化できない障害モードが明らかにされている。
検出と品質全体にわたって、観察された相違は、主に類型的区分における家族間であり、透かしにおける言語間の公平さのギャップは、特定の言語に対する慣用性よりも言語特性に構造的であることを示している。
関連論文リスト
- A Systematic Evaluation of Cross-Lingual Consistency Enhancement Methods in Multilingual Language Models [50.27606276000142]
本稿では,質問応答,推論時間介入,学習後アプローチにおける代表的CLC強調手法の統一評価について述べる。
その結果, 後学習法は一般に信頼性が高く, 直接分布アライメントはモデル・データセットの組み合わせ間で連続的にCLCを改善していることがわかった。
CLCの強化がモデルに異なる応答能力を与えるかどうかを考察する。
論文 参考訳（メタデータ） (2026-09-03T19:18:44Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics [64.77152900881724]
9つの翻訳方向をカバーする半自動構築データセットであるXQ-MEvalを提案する。
MQMで定義されたエラーを金の翻訳に自動的に注入し、信頼性のためにネイティブスピーカーによってフィルタリングし、エラーをマージして、制御可能な品質で擬似翻訳を生成する。
XQ-MEvalを用いて, 平均的判断と人的判断の矛盾を明らかにする。
論文 参考訳（メタデータ） (2026-04-16T12:27:10Z) - Gradient-Informed Training for Low-Resource Multilingual Speech Translation [4.344398827902069]
本研究は,学習勾配情報をマイニングすることで,レイヤ固有の共有パターンを自動的に決定する手法を提案する。
提案手法では, 距離に基づく言語クラスタリング, キャパシティ割り当てのための自己/クロスタスク分散メトリクス, 共同分解の3つの異なる分析手法を用いる。
論文 参考訳（メタデータ） (2026-03-26T19:00:00Z) - A Subword Embedding Approach for Variation Detection in Luxembourgish User Comments [2.4384521157164345]
本稿では,事前正規化や事前定義された変分リストに頼ることなく,変分を検出するための埋め込み型アプローチを提案する。
この方法は、コサインとn-gramの類似性の組み合わせにより、原文およびグループ関連フォームへのサブワード埋め込みを訓練する。
ルクセンブルク語のユーザーコメントの大規模なコーパスを用いて、このアプローチは方言や社会言語学の研究で記述されたパターンと一致する広範な語彙的および正書法的なバリエーションを明らかにする。
論文 参考訳（メタデータ） (2026-02-12T10:19:50Z) - Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。
対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。
本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
論文 参考訳（メタデータ） (2026-02-02T16:27:32Z) - Typologically-Informed Candidate Reranking for LLM-based Translation into Low-Resource Languages [1.0732935873226022]
高資源言語で主に訓練された大規模な言語モデルは、支配的な類型パターンに対する体系的なバイアスを示す。
パラレルトレーニングデータやモデル再訓練を使わずに,言語型学を活用して翻訳品質を向上させるフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-01T11:22:30Z) - XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。
ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。
XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
論文 参考訳（メタデータ） (2025-08-22T07:00:13Z) - I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations [9.275967682881944]
本稿では,大言語モデルが言語シボレスにどう反応するかを評価するための総合的なベンチマークを提案する。
等価な内容の質にもかかわらず,LLMが言語パターン,特にヘッジ言語を体系的にペナルティ化する方法を実証する。
我々は,複数の言語的側面に沿ったアプローチを検証し,ヘッジドレスポンスが平均25.6%低い評価を受けることを示した。
論文 参考訳（メタデータ） (2025-08-06T23:51:03Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。