論文の概要: mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval

• arxiv url: http://arxiv.org/abs/2501.19264v1
• Date: Fri, 31 Jan 2025 16:24:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:44.649063
• Title: mFollowIR: a Multilingual Benchmark for Instruction Following in Retrieval
• Title（参考訳）: mFollowIR: Retrievalでのインストラクションフォローのための多言語ベンチマーク
• Authors: Orion Weller, Benjamin Chang, Eugene Yang, Mahsa Yarmohammadi, Sam Barham, Sean MacAvaney, Arman Cohan, Luca Soldaini, Benjamin Van Durme, Dawn Lawrie,
• Abstract要約: 本稿では,検索モデルにおける命令追従能力のベンチマークであるmFollowIRを紹介する。 本稿では,多言語 (XX-XX) と多言語 (En-XX) のパフォーマンスについて述べる。 英語をベースとした学習者による多言語間性能は高いが,多言語設定では顕著な性能低下がみられた。
• 参考スコア（独自算出の注目度）: 61.17793165194077
• License:
• Abstract: Retrieval systems generally focus on web-style queries that are short and underspecified. However, advances in language models have facilitated the nascent rise of retrieval models that can understand more complex queries with diverse intents. However, these efforts have focused exclusively on English; therefore, we do not yet understand how they work across languages. We introduce mFollowIR, a multilingual benchmark for measuring instruction-following ability in retrieval models. mFollowIR builds upon the TREC NeuCLIR narratives (or instructions) that span three diverse languages (Russian, Chinese, Persian) giving both query and instruction to the retrieval models. We make small changes to the narratives and isolate how well retrieval models can follow these nuanced changes. We present results for both multilingual (XX-XX) and cross-lingual (En-XX) performance. We see strong cross-lingual performance with English-based retrievers that trained using instructions, but find a notable drop in performance in the multilingual setting, indicating that more work is needed in developing data for instruction-based multilingual retrievers.
• Abstract（参考訳）: 検索システムは一般に、短く、具体的でないWebスタイルのクエリに焦点を当てる。 しかし、言語モデルの進歩は、多様な意図を持つより複雑なクエリを理解できる検索モデルの急激な台頭を助長している。 しかし、これらの取り組みは英語のみに焦点を絞っているため、言語間でどのように機能するかはまだ分かっていない。 検索モデルにおける命令追従能力を測定するための多言語ベンチマークであるmFollowIRを導入する。 mFollowIRはTREC NeuCLIRの物語(または命令)の上に構築され、3つの多言語(ロシア語、中国語、ペルシア語)で検索モデルに対するクエリと命令の両方を提供する。 物語に小さな変更を加えて,これらの微妙な変化を検索モデルがいかにうまく追従できるかを抽出する。 マルチリンガル(XX-XX)とクロスリンガル(En-XX)の両方のパフォーマンスを示す。 英語をベースとしたレトリバーによる多言語間性能は高いが、多言語設定では顕著な性能低下がみられ、命令ベースの多言語レトリバーのデータ開発にはより多くの作業が必要であることが示唆された。

関連論文リスト

• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• Soft Prompt Decoding for Multilingual Dense Retrieval [30.766917713997355]
  本稿では,MLIRタスクへの言語間情報検索のための最先端手法の適用により,準最適性能が得られることを示す。 これは多言語コレクションの不均一性と不均衡性に起因する。 KD-SPDはMLIRの新しいソフトプロンプトデコーディング手法で、異なる言語における文書の表現を同じ埋め込み空間に暗黙的に「翻訳」する。
  論文  参考訳（メタデータ） (2023-05-15T21:17:17Z)
• Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
  我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。 本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
  論文  参考訳（メタデータ） (2022-04-05T17:12:53Z)
• One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval [39.061900747689094]
  CORAはクロスランガルなオープン・レトリーバル・アンサー・ジェネレーション・モデルである。 言語固有の注釈付きデータや知識ソースが利用できない場合でも、多くの言語で質問に答えることができる。
  論文  参考訳（メタデータ） (2021-07-26T06:02:54Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)
• Teaching a New Dog Old Tricks: Resurrecting Multilingual Retrieval Using Zero-shot Learning [30.868309879441615]
  我々は、事前訓練された多言語言語モデルを利用して、英語コレクションで訓練された検索システムを非英語クエリや文書に転送することで、データの欠如に対処する。 提案手法は,アラビア語,中国語,スペイン語の教師なし検索手法を著しく上回りうることを示す。
  論文  参考訳（メタデータ） (2019-12-30T20:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。