論文の概要: Universal and Independent: Multilingual Probing Framework for Exhaustive
Model Interpretation and Evaluation
- arxiv url: http://arxiv.org/abs/2210.13236v1
- Date: Mon, 24 Oct 2022 13:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:47:13.024852
- Title: Universal and Independent: Multilingual Probing Framework for Exhaustive
Model Interpretation and Evaluation
- Title（参考訳）: ユニバーサルとインディペンデント:排他的モデル解釈と評価のための多言語探索フレームワーク
- Authors: Oleg Serikov, Vitaly Protasov, Ekaterina Voloshina, Viktoria
Knyazkova, Tatiana Shavrina
- Abstract要約: 多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。
mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。
私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
- 参考スコア（独自算出の注目度）: 0.04199844472131922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Linguistic analysis of language models is one of the ways to explain and
describe their reasoning, weaknesses, and limitations. In the probing part of
the model interpretability research, studies concern individual languages as
well as individual linguistic structures. The question arises: are the detected
regularities linguistically coherent, or on the contrary, do they dissonate at
the typological scale? Moreover, the majority of studies address the inherent
set of languages and linguistic structures, leaving the actual typological
diversity knowledge out of scope. In this paper, we present and apply the
GUI-assisted framework allowing us to easily probe a massive number of
languages for all the morphosyntactic features present in the Universal
Dependencies data. We show that reflecting the anglo-centric trend in NLP over
the past years, most of the regularities revealed in the mBERT model are
typical for the western-European languages. Our framework can be integrated
with the existing probing toolboxes, model cards, and leaderboards, allowing
practitioners to use and share their standard probing methods to interpret
multilingual models. Thus we propose a toolkit to systematize the multilingual
flaws in multilingual models, providing a reproducible experimental setup for
104 languages and 80 morphosyntactic features.
https://github.com/AIRI-Institute/Probing_framework
- Abstract（参考訳）: 言語モデルの言語分析は、その推論、弱点、限界を説明し、記述する方法の1つである。
モデル解釈可能性研究の探索部分では、研究は個々の言語と個々の言語構造に関するものである。
検出された正規性は言語的に一貫性があるのか、それともその反対に、タイポロジーの尺度で不協和なのか?
さらに、ほとんどの研究は言語と言語構造の固有の集合に対処し、実際の類型的多様性の知識は範囲外である。
本稿では,GUI支援フレームワークを用いて,Universal Dependenciesデータに存在するすべての形態素合成機能に対して,多数の言語を簡単に探索することができることを示す。
我々は,過去数年間のNLPにおけるアングロ中心の傾向を反映して,mBERTモデルで示された規則性の大部分は西欧語で典型的であることを示す。
私たちのフレームワークは、既存のプロビングツールボックス、モデルカード、リーダーボードと統合でき、実践者が標準プロビングメソッドを使用して共有し、多言語モデルの解釈を可能にします。
そこで本研究では,多言語モデルにおける多言語障害を体系化するためのツールキットを提案する。
https://github.com/AIRI-Institute/Probing_framework
関連論文リスト
- Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。
例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
論文 参考訳（メタデータ） (2024-08-26T16:29:13Z) - The Less the Merrier? Investigating Language Representation in
Multilingual Models [8.632506864465501]
多言語モデルにおける言語表現について検討する。
我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
論文 参考訳（メタデータ） (2023-10-20T02:26:34Z) - Language Embeddings Sometimes Contain Typological Generalizations [0.0]
我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。
学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。
いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
論文 参考訳（メタデータ） (2023-01-19T15:09:59Z) - Integrating Linguistic Theory and Neural Language Models [2.870517198186329]
理論的言語学とニューラル言語モデルが相互にどのように関係しているかを説明するためのケーススタディをいくつか提示する。
この論文は、言語モデルにおける構文意味インタフェースの異なる側面を探求する3つの研究に貢献する。
論文 参考訳（メタデータ） (2022-07-20T04:20:46Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Are pre-trained text representations useful for multilingual and
multi-dimensional language proficiency modeling? [6.294759639481189]
本稿では,多次元多言語習熟度分類における事前学習および微調整多言語組込みの役割に関する実験と観察について述べる。
提案手法は,多言語習熟度モデリングに有用であるが,どの特徴も言語習熟度の全次元において一貫した最高の性能を得られていないことを示唆する。
論文 参考訳（メタデータ） (2021-02-25T16:23:52Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳（メタデータ） (2020-05-01T12:22:33Z) - Linguistic Typology Features from Text: Inferring the Sparse Features of
World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。
様々な言語型の特徴を確実に予測できることを示す。
論文 参考訳（メタデータ） (2020-04-30T21:00:53Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。