Fugu-MT 論文翻訳(概要): The Obscure Limitation of Modular Multilingual Language Models

論文の概要: The Obscure Limitation of Modular Multilingual Language Models

arxiv url: http://arxiv.org/abs/2311.12375v1
Date: Tue, 21 Nov 2023 06:27:25 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 01:55:27.209309
Title: The Obscure Limitation of Modular Multilingual Language Models
Title（参考訳）: モジュール型多言語言語モデルの異常限界
Authors: Muhammad Farid Adilazuarda, Samuel Cahyawijaya, Ayu Purwarianti
Abstract要約: モジュールの評価は言語識別(LID)モジュールの関与を除外する。 LIDとモジュラーのパイプライン化による性能ギャップの縮減を示す。
参考スコア（独自算出の注目度）: 21.529062560295753
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We expose the limitation of modular multilingual language models (MLMs) in multilingual inference scenarios with unknown languages. Existing evaluations of modular MLMs exclude the involvement of language identification (LID) modules, which obscures the performance of real-case multilingual scenarios of modular MLMs. In this work, we showcase the effect of adding LID on the multilingual evaluation of modular MLMs and provide discussions for closing the performance gap of caused by the pipelined approach of LID and modular MLMs.
Abstract（参考訳）: 未知言語を用いた多言語推論シナリオにおいて,モジュール型多言語モデル(MLM)の限界を明らかにする。既存のモジュラ MLM の評価では、言語識別(LID)モジュールの関与を除外しており、モジュラ MLM の実例の多言語シナリオの性能を曖昧にしている。本稿では,モジュール型MLMの多言語評価におけるLIDの追加効果について述べるとともに,LIDとモジュール型MLMのパイプライン化による性能ギャップを解消するための議論を行う。

関連論文リスト

LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
論文参考訳（メタデータ） (2025-01-01T15:43:07Z)
Exploring the Implicit Semantic Ability of Multimodal Large Language Models: A Pilot Study on Entity Set Expansion [26.47488223403437]
マルチモーダル大言語モデル(MLLM)を用いて,エンティティレベルの粒度の暗黙的な意味情報を理解する。ローカルスコアをグローバルランキングにマッピングするリストワイズランキング手法であるLUSARを導入する。我々のLUSARは、MESEタスクにおけるMLLMの性能を大幅に向上させ、ESEタスクに生成MLLMを初めて使用し、リストワイドランキングの適用性を高めた。
論文参考訳（メタデータ） (2024-12-31T08:03:48Z)
LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
論文参考訳（メタデータ） (2024-10-21T17:41:28Z)
Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。既存の評価は最終的な成功率にのみ依存する傾向がある。本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文参考訳（メタデータ） (2024-10-09T17:59:00Z)
SAM4MLLM: Enhance Multi-Modal Large Language Model for Referring Expression Segmentation [37.45387861441091]
SAM4MLLMはSegment Anything Model(SAM)とMulti-Modal Large Language Models(MLLM)を統合する革新的なアプローチである。提案手法により,MLLMは既存のモデルアーキテクチャに過剰な修正を加えたり,特別なトークンを追加することなく,ピクセルレベルの位置情報を学習することができる。詳細な視覚情報と、大きな言語モデルの強力な表現能力とを、学習における計算オーバーヘッドを増大させることなく、統一された言語ベースの方法で組み合わせる。
論文参考訳（メタデータ） (2024-09-01T12:09:33Z)
A Survey of Large Language Models for European Languages [4.328283741894074]
大規模言語モデル(LLM)は、多岐にわたる自然言語処理における高い性能のため、大きな注目を集めている。 LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要を報告する。大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。
論文参考訳（メタデータ） (2024-08-27T13:10:05Z)
Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
大きな言語モデル(LLM)は印象的な言語機能を示している。本研究では,LLMの自然多言語アライメント改善について検討する。質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
論文参考訳（メタデータ） (2024-05-22T16:46:19Z)
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文参考訳（メタデータ） (2024-02-26T09:36:05Z)
Macaw-LLM: Multi-Modal Language Modeling with Image, Audio, Video, and Text Integration [50.94902442781148]
視覚情報,音声情報,テキスト情報をシームレスに統合する新しい多モード大言語モデル(LLM)を提案する。 Macaw-LLMは、マルチモーダルデータを符号化するモダリティモジュール、事前訓練されたLLMを利用する認知モジュール、多様な表現を調和させるアライメントモジュールの3つの主要コンポーネントから構成される。我々は,69K画像インスタンスと50Kビデオインスタンスを含む,大規模なマルチモーダル・インストラクション・データセットを構築した。
論文参考訳（メタデータ） (2023-06-15T12:45:25Z)
A Primer on Pretrained Multilingual Language Models [18.943173499882885]
MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。本報告では,MLLMに関する研究分野について概説する。
論文参考訳（メタデータ） (2021-07-01T18:01:46Z)
Universal Sentence Representation Learning with Conditional Masked Language Model [7.334766841801749]
文表現を効果的に学習するための条件付きマスク言語モデリング(M)を提案する。我々の英語CMLMモデルは,SentEvalの最先端性能を実現する。完全に教師なしの学習方法として、CMLMは幅広い言語やドメインに便利に拡張できます。
論文参考訳（メタデータ） (2020-12-28T18:06:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。