論文の概要: Designing and Contextualising Probes for African Languages

• arxiv url: http://arxiv.org/abs/2505.10081v2
• Date: Tue, 20 May 2025 16:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.377194
• Title: Designing and Contextualising Probes for African Languages
• Title（参考訳）: アフリカ語用プローブの設計とテクスチャ化
• Authors: Wisdom Aduah, Francois Meyer,
• Abstract要約: 本稿では,アフリカ言語に関する言語知識のためのPLMの探索に関する最初の体系的研究について述べる。 我々は6つの類型的多様性を持つアフリカの言語に対して、言語的特徴がどのように分散されているかを分析するために、階層的プローブを訓練する。 アフリカ語に適応した PLM は,多言語 PLM よりも対象言語に関する言語情報をエンコードする。
• 参考スコア（独自算出の注目度）: 3.161415847253143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (PLMs) for African languages are continually improving, but the reasons behind these advances remain unclear. This paper presents the first systematic investigation into probing PLMs for linguistic knowledge about African languages. We train layer-wise probes for six typologically diverse African languages to analyse how linguistic features are distributed. We also design control tasks, a way to interpret probe performance, for the MasakhaPOS dataset. We find PLMs adapted for African languages to encode more linguistic information about target languages than massively multilingual PLMs. Our results reaffirm previous findings that token-level syntactic information concentrates in middle-to-last layers, while sentence-level semantic information is distributed across all layers. Through control tasks and probing baselines, we confirm that performance reflects the internal knowledge of PLMs rather than probe memorisation. Our study applies established interpretability techniques to African-language PLMs. In doing so, we highlight the internal mechanisms underlying the success of strategies like active learning and multilingual adaptation.
• Abstract（参考訳）: アフリカの言語に対する事前訓練言語モデル(PLM)は、継続的に改善されているが、これらの進歩の背景には、まだ不明な点がある。 本稿では,アフリカ言語に関する言語知識のためのPLMの探索に関する最初の体系的研究について述べる。 我々は6つの類型的多様性を持つアフリカの言語に対して、言語的特徴がどのように分散されているかを分析するために、階層的プローブを訓練する。 また,MahakhaPOSデータセットに対して,プローブ性能を解釈する制御タスクを設計する。 アフリカ語に適応した PLM は,多言語 PLM よりも対象言語に関する言語情報をエンコードする。 その結果,トークンレベルの構文情報が中～中層に集中する一方で,文レベルの意味情報が全層に分散していることが再確認された。 制御タスクとベースラインの探索により,PLMの内部知識はプローブ記憶よりも性能が反映されていることを確認した。 本研究は,アフリカ語 PLM に確立された解釈可能性技術を適用した。 そこで我々は,アクティブラーニングや多言語適応といった戦略の成功を支える内部メカニズムを強調した。

関連論文リスト

• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• AfroBench: How Good are Large Language Models on African Languages? [55.35674466745322]
  AfroBenchは、64のアフリカ言語にわたるLLMのパフォーマンスを評価するためのベンチマークである。 AfroBenchは9つの自然言語理解データセット、6つのテキスト生成データセット、6つの知識と質問応答タスク、1つの数学的推論タスクで構成される。
  論文  参考訳（メタデータ） (2023-11-14T08:10:14Z)
• Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs [16.770697902481107]
  大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。 本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。 その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-24T02:05:03Z)
• Multilingual Language Model Adaptive Fine-Tuning: A Study on African Languages [19.067718464786463]
  我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。 多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。 当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
  論文  参考訳（メタデータ） (2022-04-13T16:13:49Z)
• Locating Language-Specific Information in Contextualized Embeddings [2.836066255205732]
  多言語事前訓練言語モデル(MPLM)は多言語性を示し、言語間の移動に適している。 MPLM表現が言語に依存しないのか、それとも単に学習したタスク予測ヘッドとインターリーブするだけなのかが問題となる。 言語固有の情報をMPLM内に配置し,その次元と,その発生する層を識別する。
  論文  参考訳（メタデータ） (2021-09-16T15:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。