論文の概要: Trillion 7B Technical Report

• arxiv url: http://arxiv.org/abs/2504.15431v1
• Date: Mon, 21 Apr 2025 20:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-01 01:29:22.268248
• Title: Trillion 7B Technical Report
• Title（参考訳）: トリリオン7B技術報告
• Authors: Sungjun Han, Juyoung Suk, Suyeong An, Hyungguk Kim, Kyuseok Kim, Wonsuk Yang, Seungtaek Choi, Jamin Shin,
• Abstract要約: Trillion-7Bは最もトークン効率の良い韓国中心の多言語LLMである。 韓国語や日本語などの対象言語への高度に効率的な知識伝達を可能にする新しい言語間文書認識機構 (XLDA) を提案する。
• 参考スコア（独自算出の注目度）: 9.289348528268837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Trillion-7B, the most token-efficient Korean-centric multilingual LLM available. Our novel Cross-lingual Document Attention (XLDA) mechanism enables highly efficient and effective knowledge transfer from English to target languages like Korean and Japanese. Combined with optimized data mixtures, language-specific filtering, and tailored tokenizer construction, Trillion-7B achieves competitive performance while dedicating only 10\% of its 2T training tokens to multilingual data and requiring just 59.4K H100 GPU hours (\$148K) for full training. Comprehensive evaluations across 27 benchmarks in four languages demonstrate Trillion-7B's robust multilingual performance and exceptional cross-lingual consistency.
• Abstract（参考訳）: 本稿では,最もトークン効率の高い韓国語中心の多言語LLMであるTrillion-7Bを紹介する。 韓国語や日本語などの対象言語への英語からの効率的な効果的な知識伝達を可能にする新しい言語間文書認識機構 (XLDA) を提案する。 Trillion-7Bは、最適化されたデータ混合、言語固有のフィルタリング、調整されたトークンライザの構築と組み合わせて、マルチリンガルデータに2Tトレーニングトークンの10%だけを割り当て、完全なトレーニングには59.4K H100 GPU時間 (\$148K) しか必要とせず、競争的なパフォーマンスを実現している。 4つの言語で27のベンチマークを総合的に評価すると、Trillion-7Bの堅牢な多言語性能と例外的な言語間一貫性が示されている。

関連論文リスト

• One ruler to measure them all: Benchmarking multilingual long-context language models [35.75388430206553]
  我々は26言語にわたる長文言語モデルを評価するために設計された多言語ベンチマークONERULERを提案する。 英語は、長文タスク(26語中6位)における最高のパフォーマンス言語ではなく、ポーランド語が最上位言語として登場した。 異なる言語で命令とコンテキストが現れる言語間シナリオでは、命令言語によってパフォーマンスが最大20%変動する。
  論文  参考訳（メタデータ） (2025-03-03T19:12:48Z)
• Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model [66.17354128553244]
  多くのLVLM(Large Vision-Language Models)は、主に英語のデータに基づいて訓練されている。 異なる言語群に対する学習がいかに異なるかを検討する。 私たちはCenturio(100言語LVLM)をトレーニングし、14のタスクと56の言語を対象とした評価で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-01-09T10:26:14Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• KInITVeraAI at SemEval-2023 Task 3: Simple yet Powerful Multilingual Fine-Tuning for Persuasion Techniques Detection [0.0]
  本稿では,サブタスク3のSemEval 2023タスク3に対して,説得技術検出専用の最高のパフォーマンスソリューションを提案する。 入力データの多言語的特性が高く,23の予測ラベルが多数存在するため,学習前のトランスフォーマベース言語モデルに微調整を施した。
  論文  参考訳（メタデータ） (2023-04-24T09:06:43Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
  多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。 トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
  論文  参考訳（メタデータ） (2020-10-20T05:41:35Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。