論文の概要: Designing and Contextualising Probes for African Languages

• arxiv url: http://arxiv.org/abs/2505.10081v2
• Date: Tue, 20 May 2025 16:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.377194
• Title: Designing and Contextualising Probes for African Languages
• Title（参考訳）: アフリカ語用プローブの設計とテクスチャ化
• Authors: Wisdom Aduah, Francois Meyer,
• Abstract要約: 本稿では,アフリカ言語に関する言語知識のためのPLMの探索に関する最初の体系的研究について述べる。 我々は6つの類型的多様性を持つアフリカの言語に対して、言語的特徴がどのように分散されているかを分析するために、階層的プローブを訓練する。 アフリカ語に適応した PLM は,多言語 PLM よりも対象言語に関する言語情報をエンコードする。
• 参考スコア（独自算出の注目度）: 3.161415847253143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (PLMs) for African languages are continually improving, but the reasons behind these advances remain unclear. This paper presents the first systematic investigation into probing PLMs for linguistic knowledge about African languages. We train layer-wise probes for six typologically diverse African languages to analyse how linguistic features are distributed. We also design control tasks, a way to interpret probe performance, for the MasakhaPOS dataset. We find PLMs adapted for African languages to encode more linguistic information about target languages than massively multilingual PLMs. Our results reaffirm previous findings that token-level syntactic information concentrates in middle-to-last layers, while sentence-level semantic information is distributed across all layers. Through control tasks and probing baselines, we confirm that performance reflects the internal knowledge of PLMs rather than probe memorisation. Our study applies established interpretability techniques to African-language PLMs. In doing so, we highlight the internal mechanisms underlying the success of strategies like active learning and multilingual adaptation.
• Abstract（参考訳）: アフリカの言語に対する事前訓練言語モデル(PLM)は、継続的に改善されているが、これらの進歩の背景には、まだ不明な点がある。 本稿では,アフリカ言語に関する言語知識のためのPLMの探索に関する最初の体系的研究について述べる。 我々は6つの類型的多様性を持つアフリカの言語に対して、言語的特徴がどのように分散されているかを分析するために、階層的プローブを訓練する。 また,MahakhaPOSデータセットに対して,プローブ性能を解釈する制御タスクを設計する。 アフリカ語に適応した PLM は,多言語 PLM よりも対象言語に関する言語情報をエンコードする。 その結果,トークンレベルの構文情報が中～中層に集中する一方で,文レベルの意味情報が全層に分散していることが再確認された。 制御タスクとベースラインの探索により,PLMの内部知識はプローブ記憶よりも性能が反映されていることを確認した。 本研究は,アフリカ語 PLM に確立された解釈可能性技術を適用した。 そこで我々は,アクティブラーニングや多言語適応といった戦略の成功を支える内部メカニズムを強調した。

関連論文リスト

• Natural language processing for African languages [7.884789325654572]
  論文はサハラ以南のアフリカで話される言語に焦点を合わせ、すべての先住民語を低資源と見なすことができる。 単語埋め込みで学習した意味表現の質は、データ量だけでなく、事前学習データの品質にも依存することを示す。 そこで我々は,21のアフリカ言語を対象とした大規模人間アノテーション付きラベル付きデータセットを2つのインパクトのあるNLPタスクで開発する。
  論文  参考訳（メタデータ） (2025-06-30T22:26:36Z)
• Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance [38.785363522684385]
  本稿では,潜在言語と入出力言語との相違が下流タスク性能に与える影響について検討する。 我々の作業は、複数の下流タスクにまたがる入力プロンプト言語を変化させ、潜在言語における一貫性とタスクパフォーマンスの相関を分析する。 実験結果から,下流タスク性能の最適化には潜時言語での一貫性維持が必ずしも必要ではないことが示唆された。
  論文  参考訳（メタデータ） (2025-05-27T17:30:57Z)
• Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models [49.16690802656554]
  複数の言語で意味論的に等価なプロンプトに対して一貫した応答を提供するのに、多言語の事実モデルでは苦労していることがわかった。 最終層での計算をバイパスし,予測精度と言語間の整合性を向上する線形ショートカット手法を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:43:10Z)
• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• AfroBench: How Good are Large Language Models on African Languages? [55.35674466745322]
  AfroBenchは、64のアフリカ言語にわたるLLMのパフォーマンスを評価するためのベンチマークである。 AfroBenchは9つの自然言語理解データセット、6つのテキスト生成データセット、6つの知識と質問応答タスク、1つの数学的推論タスクで構成される。
  論文  参考訳（メタデータ） (2023-11-14T08:10:14Z)
• Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs [16.770697902481107]
  大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。 本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。 その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
  論文  参考訳（メタデータ） (2023-05-24T02:05:03Z)
• MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity Recognition [55.95128479289923]
  アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。 我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。 最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
  論文  参考訳（メタデータ） (2022-10-22T08:53:14Z)
• Multilingual Language Model Adaptive Fine-Tuning: A Study on African Languages [19.067718464786463]
  我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。 多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。 当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
  論文  参考訳（メタデータ） (2022-04-13T16:13:49Z)
• Locating Language-Specific Information in Contextualized Embeddings [2.836066255205732]
  多言語事前訓練言語モデル(MPLM)は多言語性を示し、言語間の移動に適している。 MPLM表現が言語に依存しないのか、それとも単に学習したタスク予測ヘッドとインターリーブするだけなのかが問題となる。 言語固有の情報をMPLM内に配置し,その次元と,その発生する層を識別する。
  論文  参考訳（メタデータ） (2021-09-16T15:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。