論文の概要: Towards a Common Understanding of Contributing Factors for Cross-Lingual
Transfer in Multilingual Language Models: A Review
- arxiv url: http://arxiv.org/abs/2305.16768v1
- Date: Fri, 26 May 2023 09:31:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 16:03:13.744168
- Title: Towards a Common Understanding of Contributing Factors for Cross-Lingual
Transfer in Multilingual Language Models: A Review
- Title(参考訳): 多言語言語モデルにおける言語間伝達の寄与要因の共通理解に向けて
- Authors: Fred Philippy, Siwen Guo, Shohreh Haddadan
- Abstract要約: 事前訓練された多言語言語モデル(MLLM)は、異なる言語間で知識を伝達する強力な能力を示している。
その出現について独特で分かりやすい説明を得ることは困難である。
このレビューは、まず、将来の研究のための整合した基準点を提供し、次に、MLLMの言語間能力を活用するためのより良いインフォームドおよびより効率的な方法のガイダンスを提供する。
- 参考スコア(独自算出の注目度): 2.578242050187029
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, pre-trained Multilingual Language Models (MLLMs) have shown
a strong ability to transfer knowledge across different languages. However,
given that the aspiration for such an ability has not been explicitly
incorporated in the design of the majority of MLLMs, it is challenging to
obtain a unique and straightforward explanation for its emergence. In this
review paper, we survey literature that investigates different factors
contributing to the capacity of MLLMs to perform zero-shot cross-lingual
transfer and subsequently outline and discuss these factors in detail. To
enhance the structure of this review and to facilitate consolidation with
future studies, we identify five categories of such factors. In addition to
providing a summary of empirical evidence from past studies, we identify
consensuses among studies with consistent findings and resolve conflicts among
contradictory ones. Our work contextualizes and unifies existing research
streams which aim at explaining the cross-lingual potential of MLLMs. This
review provides, first, an aligned reference point for future research and,
second, guidance for a better-informed and more efficient way of leveraging the
cross-lingual capacity of MLLMs.
- Abstract(参考訳): 近年,MLLM (Pre-trained Multilingual Language Models) は様々な言語間で知識を伝達する強力な能力を示している。
しかし、そのような能力の願望がMLLMの大多数の設計に明示的に組み込まれていないことを考えると、その出現について独特で分かりやすい説明を得ることは困難である。
本稿では,MLLMのゼロショット言語間移動能力に寄与する諸要因を調査し,その後,これらの要因を詳細に概説する。
本レビューの構造を強化し,今後の研究と統合することを容易にするため,これらの因子の5つのカテゴリを同定した。
過去の研究から得られた実証的証拠の要約に加えて、一貫した発見を伴う研究の間でのコンセンサスを特定し、矛盾する研究間での紛争を解決する。
本研究は,MLLMの言語間ポテンシャルを説明するために,既存の研究ストリームを文脈化・統合する。
このレビューは、まず、将来の研究のための整合した基準点を提供し、次に、MLLMの言語間能力を活用するためのより良いインフォームドおよびより効率的な方法のガイダンスを提供する。
関連論文リスト
- Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers [81.47046536073682]
本稿では,MLLM(Multilingual Large Language Model)文学における最近の進歩と新たなトレンドを要約する一貫した視点を提示する。
私たちの研究がコミュニティに迅速なアクセスを提供し、MLLMにおける画期的な研究を促進することを願っています。
論文 参考訳(メタデータ) (2024-04-07T11:52:44Z) - A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias [5.104497013562654]
本稿では,MLLMの進化,鍵技術,多言語能力について概説する。
我々は、MLLMのトレーニングや下流タスクに適した多言語データセットに広く利用されている多言語コーパスについて検討する。
本稿では,MLLMのカテゴリと評価指標を含むバイアスについて論じ,既存のデバイアス手法を要約する。
論文 参考訳(メタデータ) (2024-04-01T05:13:56Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。
本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。
C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
論文 参考訳(メタデータ) (2024-01-02T06:29:02Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。
CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
論文 参考訳(メタデータ) (2023-06-15T15:49:51Z) - Don't Trust ChatGPT when Your Question is not in English: A Study of
Multilingual Abilities and Types of LLMs [16.770697902481107]
大規模言語モデル(LLM)は、例外的な自然言語理解能力を示している。
本論文では,多言語環境下でのLLMの性能格差を体系的に評価する方法を提案する。
その結果,GPTは多言語設定において高い翻訳的振る舞いを示すことがわかった。
論文 参考訳(メタデータ) (2023-05-24T02:05:03Z) - Improving Factuality and Reasoning in Language Models through Multiagent
Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。
以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。
我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文 参考訳(メタデータ) (2023-05-23T17:55:11Z) - Towards Unifying Multi-Lingual and Cross-Lingual Summarization [43.89340385650822]
我々は多言語要約(MLS)と多言語要約(CLS)をより一般的な設定、すなわち多対多要約(M2MS)に統一することを目指している。
M2MS への第一歩として,M2MS が MLS や CLS よりも多言語でタスク知識を伝達できることを示す予備的研究を行った。
本稿では,3段階の事前学習を通して言語モデリング,言語横断能力,要約能力を学ぶ,事前学習型M2MSモデルであるPiscesを提案する。
論文 参考訳(メタデータ) (2023-05-16T06:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。