論文の概要: TALL -- A Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2506.05057v1
• Date: Thu, 05 Jun 2025 14:02:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.744936
• Title: TALL -- A Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages
• Title（参考訳）: TALL - 低リソース言語におけるLLMパフォーマンス向上のためのトレーニング可能なアーキテクチャ
• Authors: Moshe Ofer, Orel Zamler, Amos Azaria,
• Abstract要約: 本稿では,LLMを2つのバイリンガル翻訳モデルに統合したTALL(Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages)を提案する。 ヘブライ語に関する我々の実験は、直接使用、ナイーブ翻訳、微調整アプローチなど、いくつかのベースラインよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 13.416341692917676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) excel in high-resource languages but struggle with low-resource languages due to limited training data. This paper presents TALL (Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages), which integrates an LLM with two bilingual translation models. TALL transforms low-resource inputs into high-resource representations, leveraging the LLM's capabilities while preserving linguistic features through dimension alignment layers and custom transformers. Our experiments on Hebrew demonstrate significant improvements over several baselines, including direct use, naive translation, and fine-tuning approaches. The architecture employs a parameter-efficient strategy, freezing pre-trained components while training only lightweight adapter modules, balancing computational efficiency with performance gains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高リソース言語では優れているが、訓練データに制限があるため、低リソース言語では苦労している。 本稿では,LLMを2つのバイリンガル翻訳モデルに統合したTALL(Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages)を提案する。 TALLは低リソース入力を高リソース表現に変換し、LLMの機能を活用しながら、次元アライメント層とカスタムトランスフォーマーを通して言語的特徴を保存する。 ヘブライ語に関する我々の実験は、直接使用、ナイーブ翻訳、微調整アプローチなど、いくつかのベースラインよりも大幅に改善されている。 アーキテクチャはパラメータ効率の戦略を採用し、事前訓練されたコンポーネントを凍結し、軽量なアダプタモジュールのみをトレーニングし、計算効率と性能向上のバランスをとる。

関連論文リスト

• Is LLM the Silver Bullet to Low-Resource Languages Machine Translation? [14.55410092719299]
  低リソース言語(LRL)は、言語資源の制限と標準データセットの表現不足により、自然言語処理において重大な課題を呈している。 本稿では,FLORES-200などのベンチマークを用いて,200言語にわたる現在の大規模言語モデル(LLM)の限界を体系的に評価する。
  論文  参考訳（メタデータ） (2025-03-31T13:56:03Z)
• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning [28.288949710191158]
  大規模言語モデル(LLM)は、多言語事前学習コーパスと命令微調整データによって駆動される、印象的な多言語推論能力を示す。 事前学習コーパスにおける言語不均衡に起因する高リソース言語推論タスクと低リソース言語推論タスクの間には,パフォーマンスギャップが存在する。 LinguaLIFTは低リソース言語推論を進めるための2段階の命令チューニングフレームワークである。
  論文  参考訳（メタデータ） (2024-12-17T03:03:17Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。