論文の概要: Locating Language-Specific Information in Contextualized Embeddings

• arxiv url: http://arxiv.org/abs/2109.08040v1
• Date: Thu, 16 Sep 2021 15:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:01:57.676527
• Title: Locating Language-Specific Information in Contextualized Embeddings
• Title（参考訳）: 文脈的埋め込みにおける言語特化情報の位置決め
• Authors: Sheng Liang, Philipp Dufter, Hinrich Sch\"utze
• Abstract要約: 多言語事前訓練言語モデル(MPLM)は多言語性を示し、言語間の移動に適している。 MPLM表現が言語に依存しないのか、それとも単に学習したタスク予測ヘッドとインターリーブするだけなのかが問題となる。 言語固有の情報をMPLM内に配置し,その次元と,その発生する層を識別する。
• 参考スコア（独自算出の注目度）: 2.836066255205732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual pretrained language models (MPLMs) exhibit multilinguality and are well suited for transfer across languages. Most MPLMs are trained in an unsupervised fashion and the relationship between their objective and multilinguality is unclear. More specifically, the question whether MPLM representations are language-agnostic or they simply interleave well with learned task prediction heads arises. In this work, we locate language-specific information in MPLMs and identify its dimensionality and the layers where this information occurs. We show that language-specific information is scattered across many dimensions, which can be projected into a linear subspace. Our study contributes to a better understanding of MPLM representations, going beyond treating them as unanalyzable blobs of information.
• Abstract（参考訳）: 多言語事前訓練言語モデル(MPLM)は多言語性を示し、言語間の移動に適している。 ほとんどのMPLMは教師なしで訓練されており、目的と多言語の関係は不明確である。 より具体的には、MPLM表現が言語に依存しないのか、単に学習したタスク予測ヘッドと干渉するだけなのかが問題となる。 本研究では,言語固有の情報をmplmに配置し,その次元とその情報が発生する層を同定する。 言語固有の情報は様々な次元に分散し,線形部分空間に投影できることを示す。 本研究は,MPLM表現をよりよく理解し,解析不能な情報の塊として扱うこと以上に貢献する。

関連論文リスト

• Multilingual Large Language Models: A Systematic Survey [38.972546467173565]
  本稿では,多言語大言語モデル(MLLM)の最新研究を包括的に調査する。 まず,MLLMのアーキテクチャと事前学習の目的について論じ,多言語機能に寄与する重要なコンポーネントや方法論を強調した。 本稿では,MLLMの言語間知識,推論,人的価値との整合性,安全性,解釈可能性,専門的応用に関する詳細な分類とロードマップを示す。
  論文  参考訳（メタデータ） (2024-11-17T13:21:26Z)
• Beneath the Surface of Consistency: Exploring Cross-lingual Knowledge Representation Sharing in LLMs [31.893686987768742]
  言語モデルは、言語全体で同じ事実に答える能力に矛盾する。 モデルがクエリに一貫して答える能力と、複数の言語で共有された表現で'ストア'する能力の2つの側面から、多言語的な事実知識を探求する。
  論文  参考訳（メタデータ） (2024-08-20T08:38:30Z)
• Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models [7.615938028813914]
  Retrieval Augmented Generation (RAG)により、Large Language Models (LLM) は情報検索において重要な役割を担っている。 RAGに基づく情報検索において,LLMの言語的嗜好について検討した。 その結果,LLMは問合せ言語と同一言語における情報に対して,情報検索と回答生成の両方において,体系的な偏りを示した。
  論文  参考訳（メタデータ） (2024-07-07T21:26:36Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Towards Truthful Multilingual Large Language Models: Benchmarking and Alignment Strategies [38.3269908062146]
  多言語シナリオにおける真理性評価のためのベンチマークを構築する。 多数の言語にまたがるデータ割り当てを最適化するために,Fact-aware Multilingual Selective Synergy (FaMSS)を提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:59:07Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。