論文の概要: XIFBench: Evaluating Large Language Models on Multilingual Instruction Following

• arxiv url: http://arxiv.org/abs/2503.07539v1
• Date: Mon, 10 Mar 2025 17:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 18:54:17.198281
• Title: XIFBench: Evaluating Large Language Models on Multilingual Instruction Following
• Title（参考訳）: XIFBench: 大規模言語モデルの評価
• Authors: Zhenyu Li, Kehai Chen, Yunfei Long, Xuefeng Bai, Yaoyin Zhang, Xuchen Wei, Juntao Li, Min Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。 XIFBenchは、LLMの多言語命令追従能力を評価するための制約ベースのベンチマークである。
• 参考スコア（独自算出の注目度）: 34.21958956053967
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable instruction-following capabilities across various applications. However, their performance in multilingual settings remains poorly understood, as existing evaluations lack fine-grained constraint analysis. We introduce XIFBench, a comprehensive constraint-based benchmark for assessing multilingual instruction-following abilities of LLMs, featuring a novel taxonomy of five constraint categories and 465 parallel instructions across six languages spanning different resource levels. To ensure consistent cross-lingual evaluation, we develop a requirement-based protocol that leverages English requirements as semantic anchors. These requirements are then used to validate the translations across languages. Extensive experiments with various LLMs reveal notable variations in instruction-following performance across resource levels, identifying key influencing factors such as constraint categories, instruction complexity, and cultural specificity.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションにまたがる優れた命令追従機能を示している。 しかし、既存の評価にはきめ細かい制約分析が欠けているため、多言語設定でのそれらの性能はいまだによく理解されていない。 XIFBenchは、LLMの多言語命令追従能力を評価するための包括的な制約ベースのベンチマークであり、異なるリソースレベルにまたがる6言語にまたがる5つの制約カテゴリと465の並列命令からなる新しい分類法を特徴とする。 そこで我々は,英語要求をセマンティックアンカーとして活用する要件ベースのプロトコルを開発した。 これらの要件は、言語間の翻訳を検証するために使用される。 様々な LLM を用いた大規模な実験により、リソースレベルにわたる命令追従性能の顕著な変化が明らかとなり、制約カテゴリ、命令複雑性、文化的特異性といった重要な要因が特定される。

関連論文リスト

• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
  Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。 Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。 非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
  論文  参考訳（メタデータ） (2024-10-21T00:59:47Z)
• Qtok: A Comprehensive Framework for Evaluating Multilingual Tokenizer Quality in Large Language Models [0.0]
  トークン化の品質は、モデルが多様な言語を効果的に扱う能力に大きな影響を及ぼす可能性がある。 Qtokは、多言語環境でのパフォーマンスに特に重点を置いて、トークン化ツールの品質を評価するために設計されたツールである。 Qtokはこれらのメトリクスを適用して、58の公開モデルから13の異なるトークン化子を評価し、異なる言語コンテキストでアウトプットを分析する。
  論文  参考訳（メタデータ） (2024-10-16T19:34:34Z)
• Exploring the Limitations of Large Language Models in Compositional Relation Reasoning [3.2857239461014465]
  本稿では,1500の英語テストケースを含むベンチマークを用いて,大規模言語モデルの合成関係を推論する能力を総合的に評価する。 多言語能力の重要性を認め,これらの症例の中国語,日本語,フランス語,韓国語への翻訳を含むように評価を拡大した。
  論文  参考訳（メタデータ） (2024-03-05T03:07:10Z)
• Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions? [42.37657013017192]
  単言語コーパスの代わりに並列で命令チューニングを行うことで、最大9.9%の言語間命令に従うことができることを示す。 また,多言語チャットシナリオにおけるヒューマンベースとGPT-4に基づく評価の整合性を理解するために,人間のアノテーション研究を行う。
  論文  参考訳（メタデータ） (2024-02-21T11:07:07Z)
• Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed? [40.13166574854085]
  英語中心の大規模言語モデルにおいて,多言語間の一般化を実現するために必要な最小限の多言語性について検討する。 複数言語から3言語までの多言語命令チューニングは,効果的な言語間一般化を実現するのに必要かつ十分であることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T00:49:52Z)
• Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.476500441734427]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスクに優れる。 彼らの評価、特に上位20ドルを超える言語では、既存のベンチマークとメトリクスの制限のため、依然として不十分である。
  論文  参考訳（メタデータ） (2023-09-14T06:41:58Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
  本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
  論文  参考訳（メタデータ） (2021-04-15T12:26:12Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。