論文の概要: XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks

• arxiv url: http://arxiv.org/abs/2605.30788v1
• Date: Fri, 29 May 2026 03:25:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.364163
• Title: XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks
• Title（参考訳）: XLGoBench: アルゴリズムタスクによる言語間スキルギャップの検出
• Abstract要約: 大規模言語モデルの能力における言語間ギャップを検出するための合成アルゴリズムタスクのセットを導入する。 私たちのベンチマークは、異なる言語で同じ基礎となるタスクを実行するためにモデルを必要とするため、言語間で共用しています。 我々のベンチマークは、複数の最先端モデルにおいて、永続的な言語間ギャップを露呈する。
• 参考スコア（独自算出の注目度）: 26.361614231504163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a set of synthetic algorithmic tasks to detect cross-lingual gaps in the abilities of large language models. Our benchmark is commensurate across languages, since it requires models to perform the same underlying task in different languages; scalable, since each task can be generated at varying levels of complexity allowing it to be adapted to models with different capabilities; quantifiable, since every task admits an objective notion of correctness; and transparent, since tasks are generated from simple templates that can be readily audited for translation errors. Because our benchmark focuses on algorithmic tasks, differential performance is a sufficient -- but not necessary -- indicator of cross-lingual gaps. Nevertheless, we show through extensive experiments that our benchmark exposes persistent cross-lingual gaps in multiple state-of-the-art models.
• Abstract（参考訳）: 大規模言語モデルの能力における言語間ギャップを検出するための合成アルゴリズムタスクのセットを導入する。 異なる言語で同じタスクを実行するためのモデルが必要であり、スケーラブルで、各タスクは様々なレベルの複雑さで生成可能で、異なる能力を持つモデルに適応できるため、定量化が可能であり、全てのタスクが客観的な正当性の概念を許容できるため、そして透過的であるため、タスクは翻訳エラーに対して容易に監査できる単純なテンプレートから生成される。 我々のベンチマークはアルゴリズム的なタスクに焦点を当てているので、差分性能は言語間ギャップの指標として十分だが必要ではない。 それにもかかわらず、我々のベンチマークは、複数の最先端モデルにおいて、永続的な言語間ギャップを露呈する広範囲な実験を通して示している。

関連論文リスト

• Examining Multilingual Embedding Models Cross-Lingually Through LLM-Generated Adversarial Examples [29.62231663945077]
  本稿では,並列文のみを必要とする軽量な評価タスクである言語間セマンティック識別(D)と,対向的気晴らしを生成するLarge Language Model(LLM)を導入する。 CLSDは、意味的に誤解を招くが、語彙的に類似した代替品の上に、真の並列文をランク付けする埋め込みモデルの能力を測定する。 我々の実験では、検索タスクに微調整されたモデルは、英語をピボットすることの恩恵を受ける一方、bitextマイニングモデルは、直接言語間設定で最高のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-02-12T18:54:37Z)
• Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting [123.16452714740106]
  大規模言語モデル(LLM)は印象的な多言語機能を示すが、その性能は言語によって大きく異なる。 XLT (cross-lingual- Thought prompting) という,シンプルで効果的な方法を提案する。 XLTは汎用テンプレートプロンプトで、言語間および論理的推論スキルを刺激し、言語間のタスクパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-05-11T17:44:17Z)
• Interpretable Unified Language Checking [42.816372695828306]
  本稿では,人間と機械生成言語の両方に対して,解釈可能で統一された言語チェック(UniLC)手法を提案する。 ファクトチェック, ステレオタイプ検出, ヘイトスピーチ検出タスクの組み合わせにより, LLM は高い性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T16:47:49Z)
• Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation [0.6882042556551609]
  一部のTransformerベースのモデルは、言語間変換学習を実行することができる。 このようなモデルによって構築された文脈化表現のアライメントを評価するための単語レベルタスク非依存手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:23:18Z)
• Multi Task Learning For Zero Shot Performance Prediction of Multilingual Models [12.759281077118567]
  多言語トランスフォーマーに基づく言語モデルは、言語間のゼロショット転送において驚くほど効果的であることが観察されている。 我々は,タスク上のゼロショット性能をマルチタスク学習問題としてモデル化することにより,タスク上のゼロショット性能を予測するための既存の手法を構築した。
  論文  参考訳（メタデータ） (2022-05-12T14:47:03Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
  我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。 本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
  論文  参考訳（メタデータ） (2021-06-08T17:49:33Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。