論文の概要: MultiGhostBench: A Multilingual Benchmark for Long-Form LLM-Generated Text Attribution under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2609.02379v1
• Date: Wed, 02 Sep 2026 09:52:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.223047
• Title: MultiGhostBench: A Multilingual Benchmark for Long-Form LLM-Generated Text Attribution under Distribution Shifts
• Title（参考訳）: MultiGhostBench: 分散シフト下でのLLM生成テキスト属性の多言語ベンチマーク
• Abstract要約: MultiGhostBenchは、6つの言語と3つのスクリプトにわたる5つの最近のLCMによって生成される928の本からなるベンチマークである。 このベンチマークは、ドメイン、著者、言語シフトによる評価をサポートする。 我々はMultiGhostBenchをロバストなAA手法の開発と評価のための貴重なリソースとして想定する。
• 参考スコア（独自算出の注目度）: 26.42191043756094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While existing work on LLM authorship attribution (AA) has made progress, available benchmarks remain limited, often focusing on English, controlled settings, or relatively outdated models, with the few multilingual studies considering only relatively short texts. We introduce MultiGhostBench, a multilingual benchmark comprising 928 books generated by five recent LLMs across six languages and three scripts, with an average length of approximately 59K words per book. The benchmark supports evaluation under domain, author, and language shifts. Evaluation of representative AA methods shows that no single method consistently performs best across settings, and performance generally degrades under distribution shifts. Transformer-based detectors can retain generator-related information across languages, although transfer effectiveness varies by language pair, whereas statistical and fingerprint-based detectors are more language-dependent. We envision MultiGhostBench as a valuable resource for the development and evaluation of robust AA methods. The dataset and code can be found at https://github.com/GrecoMT/MultiGhostBench.
• Abstract（参考訳）: LLMオーサシップ属性(英語版)(AA)に関する既存の研究は進展しているが、利用可能なベンチマークは、しばしば英語、制御された設定、あるいは比較的時代遅れなモデルに焦点を合わせ、比較的短いテキストのみを考慮に入れた数少ない多言語研究である。 MultiGhostBenchは、6つの言語と3つのスクリプトにまたがる5つのLLMによって生成される928の本からなる多言語ベンチマークである。 このベンチマークは、ドメイン、著者、言語シフトによる評価をサポートする。 代表的AA手法の評価は、単一のメソッドが一貫した設定で最高の性能を発揮することはなく、一般に分散シフト下では性能が劣化することを示している。 トランスフォーマーベースの検出器は、言語間でジェネレータ関連情報を保持できるが、転送効率は言語ペアによって異なる。 我々はMultiGhostBenchをロバストなAA手法の開発と評価のための貴重なリソースとして想定する。 データセットとコードはhttps://github.com/GrecoMT/MultiGhostBench.orgにある。

関連論文リスト

• DetectRL-X: Towards Reliable Multilingual and Real-World LLM-Generated Text Detection [68.92080038934164]
  本研究では8次元の先進検出器を評価するためのベンチマークであるTreatorRL-Xを紹介する。 このベンチマークは、商業的文脈で一般的に使用される8つの言語を含み、誤用を受けやすい6つのドメインから人書きのテキストを収集する。
  論文  参考訳（メタデータ） (2026-05-15T01:29:26Z)
• Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
  大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。 オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T07:28:30Z)
• MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
  MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。 我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
  論文  参考訳（メタデータ） (2025-06-24T09:53:00Z)
• MUG-Eval: A Proxy Evaluation Framework for Multilingual Generation Capabilities in Any Language [26.88208349402451]
  本稿では,大規模言語モデルの多言語生成能力を評価する新しいフレームワークMUG-Evalを提案する。 既存のベンチマークを会話タスクに変換し、それらのタスクに対するLCMの精度を測定します。 高、中、低リソースのカテゴリにまたがる30言語にわたる8つのLLMを評価し、MUG-Evalが確立されたベンチマークと強く相関していることを見出した。
  論文  参考訳（メタデータ） (2025-05-20T14:14:00Z)
• MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
  我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。 MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。 我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T10:13:43Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection Benchmark [10.92793962395538]
  MultiTuDEは、多言語マシン生成テキスト検出のための新しいベンチマークデータセットである。 11の言語で74,081の認証テキストと機械生成テキストで構成されている。 ゼロショット(統計とブラックボックス)と微調整検出器の性能を比較した。
  論文  参考訳（メタデータ） (2023-10-20T15:57:17Z)
• ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment [12.704628912075218]
  本稿では、アラビア語、英語、フランス語、ヒンディー語、ロシア語で9757文の人間のアノテーションを付加した多言語マルチドメインデータセットであるReadMe++を紹介する。 ReadMe++を使って、教師付き、教師なし、および少数ショットプロンプト設定において、多言語および単言語言語モデルをベンチマークする。 本実験は,ReadMe++で学習したモデルによる優れたドメイン一般化と言語間変換能力の強化によるエキサイティングな結果を示す。
  論文  参考訳（メタデータ） (2023-05-23T18:37:30Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。