論文の概要: QFrCoLA: a Quebec-French Corpus of Linguistic Acceptability Judgments

• arxiv url: http://arxiv.org/abs/2508.16867v1
• Date: Sat, 23 Aug 2025 01:51:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.224541
• Title: QFrCoLA: a Quebec-French Corpus of Linguistic Acceptability Judgments
• Title（参考訳）: QFrCoLA: ケベック・フランスの言語学的受容性判断コーパス
• Authors: David Beauchemin, Richard Khoury,
• Abstract要約: 本稿では,25,153個のドメイン内文と2,675個のドメイン外文からなる規範的二項受容可能性判定データセットであるQFrCoLAを紹介する。 我々は、QFrCoLAと他の7つの言語的二項受容可能性判定コーパスを用いて、7つの言語モデルをベンチマークする。 平均的に、微調整トランスフォーマーベースのLMは、ほとんどの言語において強力なベースラインであり、ゼロショットバイナリ分類の大言語モデルは、そのタスクでは不十分である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large and Transformer-based language models perform outstandingly in various downstream tasks. However, there is limited understanding regarding how these models internalize linguistic knowledge, so various linguistic benchmarks have recently been proposed to facilitate syntactic evaluation of language models across languages. This paper introduces QFrCoLA (Quebec-French Corpus of Linguistic Acceptability Judgments), a normative binary acceptability judgments dataset comprising 25,153 in-domain and 2,675 out-of-domain sentences. Our study leverages the QFrCoLA dataset and seven other linguistic binary acceptability judgment corpora to benchmark seven language models. The results demonstrate that, on average, fine-tuned Transformer-based LM are strong baselines for most languages and that zero-shot binary classification large language models perform poorly on the task. However, for the QFrCoLA benchmark, on average, a fine-tuned Transformer-based LM outperformed other methods tested. It also shows that pre-trained cross-lingual LLMs selected for our experimentation do not seem to have acquired linguistic judgment capabilities during their pre-training for Quebec French. Finally, our experiment results on QFrCoLA show that our dataset, built from examples that illustrate linguistic norms rather than speakers' feelings, is similar to linguistic acceptability judgment; it is a challenging dataset that can benchmark LM on their linguistic judgment capabilities.
• Abstract（参考訳）: 大規模およびトランスフォーマーベースの言語モデルは、様々な下流タスクで顕著に機能する。 しかし、これらのモデルがどのように言語知識を内部化するかについては限定的な理解が得られており、言語間の言語モデルの統語的評価を容易にするために、近年様々な言語ベンチマークが提案されている。 本稿では,QFrCoLA(Quebec-French Corpus of Linguistic Acceptability Judgments)について紹介する。 本研究では、QFrCoLAデータセットと他の7つの言語的二項受容可能性判定コーパスを利用して、7つの言語モデルのベンチマークを行う。 その結果、平均的な微調整トランスフォーマーベースのLMは、ほとんどの言語において強力なベースラインであり、ゼロショットバイナリ分類の大言語モデルは、タスク上では不十分であることがわかった。 しかし、QFrCoLAベンチマークでは、微調整されたトランスフォーマーベースのLMが他の試験方法よりも優れていた。 また,実験のために選択された事前学習された言語間LLMは,ケベックフランス語の事前学習中に言語判断能力を得られなかったことが示唆された。 最後に,我々のQFrCoLA実験の結果から,話者の感情よりも言語規範を例示して構築したデータセットが,言語受容性判定と類似していることが判明した。

関連論文リスト

• Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
  インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。 私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。 マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。 対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:17:55Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• MELA: Multilingual Evaluation of Linguistic Acceptability [7.524375463656369]
  言語アクセプタビリティの多言語評価 -- MELA -- 10言語を対象とする46Kのサンプルを用いて、言語アクセプタビリティに関する最も大きなベンチマークを提示する。 多言語解釈可能性の追求において, 微調整XLM-Rを用いた探索実験を行った。 言語間移動実験は、受容可能性判定における伝達が非自明であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T15:25:28Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• RuCoLA: Russian Corpus of Linguistic Acceptability [6.500438378175089]
  ロシア言語受容性コーパス(RuCoLA)について紹介する。 RuCoLAは、言語出版物の9.8ドルのドメイン内文と、生成モデルによって生成される3.6ドルのドメイン外文で構成されている。 最も広く使われている言語モデルは、特に形態的および意味的誤りを検出する際に、大きなマージンで人間に後れを取っていることを実証する。
  論文  参考訳（メタデータ） (2022-10-23T18:29:22Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。