論文の概要: Exploring Multilingual Human Value Concepts in Large Language Models: Is
Value Alignment Consistent, Transferable and Controllable across Languages?
- arxiv url: http://arxiv.org/abs/2402.18120v1
- Date: Wed, 28 Feb 2024 07:18:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:08:31.057295
- Title: Exploring Multilingual Human Value Concepts in Large Language Models: Is
Value Alignment Consistent, Transferable and Controllable across Languages?
- Title(参考訳): 大規模言語モデルにおける多言語人間の価値概念の探索: 価値アライメントは一貫性があり、伝達可能で、言語間で制御可能であるか?
- Authors: Shaoyang Xu, Weilong Dong, Zishan Guo, Xinwei Wu, Deyi Xiong
- Abstract要約: 異なる多言語性を持つ7種類の人的価値、16の言語、3のLLM系列を探索する。
これらの概念の言語間分析は、言語資源の相違から生じる3つの特徴を明らかにしている。
LLMの事前学習のための多言語データの合成について提案する。
- 参考スコア(独自算出の注目度): 36.889484479305075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prior research in representation engineering has revealed that LLMs encode
concepts within their representation spaces, predominantly centered around
English. In this study, we extend this philosophy to a multilingual scenario,
delving into multilingual human value concepts in LLMs. Through our
comprehensive exploration covering 7 types of human values, 16 languages and 3
LLM series with distinct multilinguality, we empirically substantiate the
existence of multilingual human values in LLMs. Further cross-lingual analysis
on these concepts discloses 3 traits arising from language resource
disparities: cross-lingual inconsistency, distorted linguistic relationships,
and unidirectional cross-lingual transfer between high- and low-resource
languages, all in terms of human value concepts. Additionally, we validate the
feasibility of cross-lingual control over value alignment capabilities of LLMs,
leveraging the dominant language as a source language. Drawing from our
findings on multilingual value alignment, we prudently provide suggestions on
the composition of multilingual data for LLMs pre-training: including a limited
number of dominant languages for cross-lingual alignment transfer while
avoiding their excessive prevalence, and keeping a balanced distribution of
non-dominant languages. We aspire that our findings would contribute to
enhancing the safety and utility of multilingual AI.
- Abstract(参考訳): 表現工学における以前の研究により、LLMは表現空間の概念を符号化し、主に英語を中心にしていることが明らかになった。
本研究では,この哲学を多言語シナリオに拡張し,llmにおける多言語人的価値概念に展開する。
7種類の人的価値、16の言語、3のLLMシリーズを網羅的に調査し、LLMにおける多言語人的価値の存在を実証的に裏付けた。
これらの概念のさらなる言語間比較分析により、言語資源の相違から生じる3つの特徴:言語間非一貫性、歪んだ言語関係、そして、ハイソース言語とローソース言語間の一方向言語間移動、全て人間の価値概念の観点から明らかにされる。
さらに,llmの値アライメント能力に対する言語間制御の実現可能性を検証するとともに,主要な言語をソース言語として活用する。
本研究は,多言語値アライメントに関する知見から,LLMの事前学習のための多言語データの構成について,過剰な頻度を回避しつつ,言語間アライメント転送のための支配言語を限定的に含むとともに,非支配言語のバランスの取れた分布を維持することを提案する。
私たちは、この発見が多言語AIの安全性と実用性の向上に寄与することを期待しています。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - How Multilingual is Multilingual LLM? [20.90512352559827]
本研究では,101言語にまたがる徹底的な分析を行うことにより,Large Language Models (LLM) の多言語能力を評価する。
それぞれのクアドラントを掘り下げることで、分類の背後にある理論的根拠を明らかにし、これらの言語をチューニングするための実行可能なガイドラインを提供します。
論文 参考訳(メタデータ) (2023-11-15T16:13:14Z) - An Efficient Multilingual Language Model Compression through Vocabulary
Trimming [16.568276582466833]
語彙トリミング (vocabulary-trimming, VT) は、無関係なトークンを語彙から削除することで、多言語LM語彙を対象言語に還元する手法である。
実験の結果,VT は多言語 LM の本来の性能を維持できるが,サイズは小さく抑えられることがわかった。
この手法は、小さなサイズを単言語モデルとして保持することにより、単言語と多言語の世界の両方の長所を維持することができる。
論文 参考訳(メタデータ) (2023-05-24T11:00:33Z) - Massively Multilingual Lexical Specialization of Multilingual
Transformers [18.766379322798837]
本稿では,2つの標準言語間語彙タスクにおいて,多言語レキシカル特殊化が著しく向上することを示す。
我々は,語彙制約のない言語への多言語語彙の特殊化によって一般化できることを示唆し,特殊化に欠かせない言語に対するゲインを観察する。
論文 参考訳(メタデータ) (2022-08-01T17:47:03Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳(メタデータ) (2022-03-16T07:09:35Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳(メタデータ) (2021-04-17T20:23:45Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。