論文の概要: Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs

• arxiv url: http://arxiv.org/abs/2607.03936v1
• Date: Sat, 04 Jul 2026 16:04:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.767738
• Title: Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs
• Title（参考訳）: 方言は言語のようにステアリングされるか? : アラビア語のLLMにおけるスパースニューロンと分散方向
• Abstract要約: アラビア語NLPの主な課題は、現代標準アラビア語(MSA)と比較して方言データの不足である。 解釈可能性の観点からすると、これは基本的な疑問を提起する。 本研究では,解釈可能性プローブと制御機構を兼ね備えた2つの相補的推論時間アプローチについて検討した。
• 参考スコア（独自算出の注目度）: 60.9510933247844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in Arabic NLP is the scarcity of dialectal data relative to Modern Standard Arabic (MSA), causing LLMs to overproduce MSA and struggle with dialectally accurate generation. From an interpretability perspective, this raises a fundamental question: where and how are dialectal features encoded within model internals, and can these representations be leveraged to improve dialect generation without fine-tuning? This study investigates two complementary inference-time approaches that serve simultaneously as interpretability probes and control mechanisms. First, we conduct a neuron-level analysis, identifying sparse neuron populations that encode dialect-specific features and showing that amplifying or suppressing these neurons can steer model outputs toward target dialects. Second, motivated by the entanglement of dialectal features at the single-neuron level, we apply a vector-steering approach that extracts dialect-specific activation directions and injects them during inference. Together, these methods illuminate the geometry of dialectal knowledge in Arabic LLMs and offer a principled, interpretability-grounded framework for dialect control without requiring dialect-specific fine-tuning.
• Abstract（参考訳）: アラビア語のNLPにおける重要な課題は、現代標準アラビア語(MSA)に対する方言データの不足である。 モデル内部にエンコードされた方言の特徴は、どこでどのように、どのようにして、微調整なしで方言生成を改善するためにこれらの表現を活用できるのか? 本研究では,解釈可能性プローブと制御機構を兼ね備えた2つの相補的推論時間アプローチについて検討した。 まず、方言特有の特徴を符号化するスパースニューロン集団を特定し、これらのニューロンを増幅または抑制することにより、対象の方言に向けて出力をモデル化することができることを示す。 第2に、単一ニューロンレベルでの弁証的特徴の絡み合いを動機として、弁証特異的なアクティベーション方向を抽出し、推論中にそれらに注入するベクトルステアリング手法を適用した。 これらの手法は、アラビア語のLLMにおける方言知識の幾何学を照らし、方言固有の微調整を必要とせず、方言制御のための原則的、解釈可能性に基づく枠組みを提供する。

関連論文リスト

• Can LLM Agents Identify Spoken Dialects like a Linguist? [9.242671426685725]
  本稿では,方言理解のエージェントとしての大規模言語モデル(LLM)の能力と,方言分類におけるHuBERTなどのモデルに匹敵する性能を示すことができるかを検討する。 提案手法では,ASRシステムで生成した音声の書き起こしを,方言の特徴地図や母音履歴,規則などの言語資源と組み合わせる。
  論文  参考訳（メタデータ） (2026-03-31T10:24:20Z)
• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• DialUp! Modeling the Language Continuum by Adapting Models to Dialects and Dialects to Models [26.91517488888121]
  世界の言語や方言のほとんどは低リソースであり、機械翻訳(MT)モデルをサポートしていない。 本稿では,事前学習したモデルを方言データに適用するための訓練時間技術であるDialUpについて述べる。 4つの言語族に属するいくつかの方言では高い成績を示し,他の2つの言語族では控えめな成績を示した。
  論文  参考訳（メタデータ） (2025-01-27T23:53:04Z)
• What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
  我々はドイツ語に関連する方言と地域言語に関する話者を調査した。 回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
  論文  参考訳（メタデータ） (2024-02-19T09:15:28Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Content-Localization based System for Analyzing Sentiment and Hate Behaviors in Low-Resource Dialectal Arabic: English to Levantine and Gulf [5.2957928879391]
  本稿では,高リソース言語における資源の内容を,低リソースアラビア語方言にローカライズすることを提案する。 我々は、コンテンツローカライゼーションに基づくニューラルマシン翻訳を用いて、レバンタインとガルフの2つの低リソースアラビア語方言に対する感情と憎悪の分類器を開発する。 以上の結果から,同一言語における方言の特異性を考慮し,方言的側面を無視することが,誤解を招く可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-27T15:37:33Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• Post-hoc analysis of Arabic transformer models [20.741730718486032]
  我々は、アラビア語の異なる方言で訓練されたトランスフォーマーモデルにおいて、言語情報がどのようにコード化されているかを探る。 アラビア語の異なる方言に対する形態的タグ付けタスクと方言識別タスクを用いて、モデル上で層とニューロン分析を行う。
  論文  参考訳（メタデータ） (2022-10-18T16:53:51Z)
• Interpreting Arabic Transformer Models [18.98681439078424]
  我々は、アラビア語の様々な種類に基づいて訓練された、アラビア語の事前訓練されたモデルにおいて、言語情報がどのように符号化されているかを探る。 MSA(現代の標準アラビア語)に基づく2つの形態的タグ付けタスクと、方言のPOSタグ付けタスクと、方言の識別タスクである。
  論文  参考訳（メタデータ） (2022-01-19T06:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。