論文の概要: Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?

• arxiv url: http://arxiv.org/abs/2408.10811v1
• Date: Tue, 20 Aug 2024 13:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 13:45:16.766340
• Title: Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?
• Title（参考訳）: 英語中心のLLMを超えて:多言語言語モデルはどう考えるか?
• Authors: Chengzhi Zhong, Fei Cheng, Qianying Liu, Junfeng Jiang, Zhen Wan, Chenhui Chu, Yugo Murawaki, Sadao Kurohashi,
• Abstract要約: 我々は、英語中心のLLMが、その強い性能にもかかわらず、それぞれの支配言語に「思考」があるかどうかを考察する。 内部の$textbflatent Language$のように表現します。
• 参考スコア（独自算出の注目度）: 40.53443067505763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we investigate whether non-English-centric LLMs, despite their strong performance, `think' in their respective dominant language: more precisely, `think' refers to how the representations of intermediate layers, when un-embedded into the vocabulary space, exhibit higher probabilities for certain dominant languages during generation. We term such languages as internal $\textbf{latent languages}$. We examine the latent language of three typical categories of models for Japanese processing: Llama2, an English-centric model; Swallow, an English-centric model with continued pre-training in Japanese; and LLM-jp, a model pre-trained on balanced English and Japanese corpora. Our empirical findings reveal that, unlike Llama2 which relies exclusively on English as the internal latent language, Japanese-specific Swallow and LLM-jp employ both Japanese and English, exhibiting dual internal latent languages. For any given target language, the model preferentially activates the latent language most closely related to it. In addition, we explore how intermediate layers respond to questions involving cultural conflicts between latent internal and target output languages. We further explore how the language identity shifts across layers while keeping consistent semantic meaning reflected in the intermediate layer representations. This study deepens the understanding of non-English-centric large language models, highlighting the intricate dynamics of language representation within their intermediate layers.
• Abstract（参考訳）: より正確には、「思考」とは、語彙空間に埋め込まれていない中間層の表現が、世代において支配的な言語に対して高い確率を示すことを示すものである。 内部の $\textbf{latent languages}$ のように表現する。 Llama2は英語中心のモデル、Swallowは英語中心のモデル、LLM-jpは英語と日本語のコーパスで事前訓練されたモデルである。 実験の結果,Llama2は内在言語として英語のみに依存しているのに対し,日本語固有のスワロー語とLLM-jpは日本語と英語の両方を使用し,二重内在言語を呈していることがわかった。 任意の対象言語に対して、モデルは最も密接に関連する潜在言語を優先的に活性化する。 さらに,中間層が潜在内部言語と対象出力言語間の文化的対立に関わる問題にどのように反応するかを考察する。 さらに、中間層表現に反映された一貫性のある意味を保ちながら、言語アイデンティティが層間でどのようにシフトするかを考察する。 本研究では、非英語中心の大規模言語モデルの理解を深め、中間層における言語表現の複雑なダイナミクスを強調した。

関連論文リスト

• Thank You, Stingray: Multilingual Large Language Models Can Not (Yet) Disambiguate Cross-Lingual Word Sense [30.62699081329474]
  本稿では,言語間感覚曖昧化のための新しいベンチマーク,StingrayBenchを紹介する。 インドネシア語とマレー語、インドネシア語とタガログ語、中国語と日本語、英語とドイツ語の4つの言語ペアで偽の友人を集めます。 各種モデルの解析において,高リソース言語に偏りが生じる傾向が見られた。
  論文  参考訳（メタデータ） (2024-10-28T22:09:43Z)
• How Do Multilingual Models Remember? Investigating Multilingual Factual Recall Mechanisms [50.13632788453612]
  大規模言語モデル(LLM)は、事前訓練中に取得した膨大な事実知識を格納し、取得する。 これらのプロセスが他の言語や多言語 LLM にどのように一般化されるのかという問題は未解明のままである。 言語がリコールプロセスにおいてどのような役割を果たすのかを考察し,言語に依存しない,言語に依存したメカニズムの証拠を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
  大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。 近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。 本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:49:15Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models [12.700783525558721]
  GPT-3やLLaMAのような英語中心のLarge Language Models (LLM)は、多言語タスクを実行する素晴らしい能力を示している。 本稿では,シーケンスラベリングタスクにおいて,これらのLLMの言語構造理解を探索するための分解的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-02-28T15:15:39Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。