論文の概要: Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models

• arxiv url: http://arxiv.org/abs/2602.20966v1
• Date: Tue, 24 Feb 2026 14:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.792613
• Title: Blackbird Language Matrices: A Framework to Investigate the Linguistic Competence of Language Models
• Title（参考訳）: Blackbird Language Matrices:言語モデルの言語的コンピテンスを調査するためのフレームワーク
• Authors: Paola Merlo, Chunyang Jiang, Giuseppe Samo, Vivi Nastase,
• Abstract要約: 本稿では,インテリジェンステストにインスパイアされた新しい言語タスク,Blackbird Language Matrices (BLM)タスクについて述べる。 BLMデータセット、その構築とベンチマーク、およびチャンキングと体系性に関するターゲット実験を説明する。
• 参考スコア（独自算出の注目度）: 2.1390972559320653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article describes a novel language task, the Blackbird Language Matrices (BLM) task, inspired by intelligence tests, and illustrates the BLM datasets, their construction and benchmarking, and targeted experiments on chunking and systematicity. BLMs are multiple-choice problems, structured at multiple levels: within each sentence, across the input sequence, within each candidate answer. Because of their rich structure, these curated, but naturalistic datasets are key to answer some core questions about current large language models abilities: do LLMs detect linguistic objects and their properties? Do they detect and use systematic patterns across sentences? Are they more prone to linguistic or reasoning errors, and how do these interact? We show that BLMs, while challenging, can be solved at good levels of performance, in more than one language, with simple baseline models or, at better performance levels, with more tailored models. We show that their representations contain the grammatical objects and attributes relevant to solve a linguistic task. We also show that these solutions are reached by detecting systematic patterns across sentences. The paper supports the point of view that curated, structured datasets support multi-faceted investigations of properties of language and large language models. Because they present a curated, articulated structure, because they comprise both learning contexts and expected answers, and because they are partly built by hand, BLMs fall in the category of datasets that can support explainability investigations, and be useful to ask why large language models behave the way they do.
• Abstract（参考訳）: 本稿では,新たな言語タスクであるBlackbird Language Matrices (BLM)タスクについて述べるとともに,BLMデータセット,その構築とベンチマーク,チャンキングと体系性に関するターゲット実験について説明する。 BLMは、複数のレベル(各文内、入力シーケンス内、各候補回答内)で構成される多重選択問題である。 リッチな構造のため、これらのキュレートされているが、自然主義的なデータセットは、現在の大きな言語モデル能力に関する中核的な疑問に答える鍵となる。 文間で体系的なパターンを検出し、使用するか? 言語学や推論の誤りに傾向があり、どのように相互作用するのか? BLMは難易度は高いが、複数の言語で、単純なベースラインモデルで、あるいはより優れたパフォーマンスレベルで、より適切なモデルで、優れたレベルのパフォーマンスで解決できることを示す。 これらの表現は言語課題の解決に関係のある文法的対象や属性を含むことを示す。 また,各文の体系的パターンを検出することで,これらの解に到達できることも示している。 本稿は,言語モデルと大規模言語モデルの性質を多面的に調査する上で,キュレートされた構造化データセットが有効である,という視点を支持する。 学習コンテキストと期待された回答の両方で構成されており、部分的に手作業で構築されているため、BLMは説明可能性の調査を支援するデータセットのカテゴリに該当し、なぜ大きな言語モデルが彼らのように振る舞うのかを問うのに役立つ。

関連論文リスト

• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Assessing Linguistic Generalisation in Language Models: A Dataset for Brazilian Portuguese [4.941630596191806]
  ブラジルポルトガル語で開発されたモデルで符号化された言語情報を検査する本質的な評価課題を提案する。 これらのタスクは、異なる言語モデルが文法構造やマルチワード表現に関連する情報を一般化する方法を評価するために設計されている。
  論文  参考訳（メタデータ） (2023-05-23T13:49:14Z)
• Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks [2.5567566997688034]
  ブラックバードの言語行列(BLM)は,ラヴェンの進行行列の言語的変種をテストするために開発された,新しい文法的データセットである。 このデータセットは44800の文から構成されており、現在のモデルにおける文法的合意規則の言語的熟達の調査を支援するために生成的に構築されている。 この言語タスクと、それをインスタンス化するデータは、一般化と抽象化を理解するために、新しい挑戦的なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2022-05-22T16:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。