論文の概要: FLeX: Fourier-based Low-rank EXpansion for multilingual transfer

• arxiv url: http://arxiv.org/abs/2604.06253v1
• Date: Mon, 06 Apr 2026 19:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.119916
• Title: FLeX: Fourier-based Low-rank EXpansion for multilingual transfer
• Title（参考訳）: FLeX:多言語転送のためのフーリエベース低ランク展開
• Authors: Gaurav Narasimhan,
• Abstract要約: 複数のプログラミング言語が共存するエンタープライズ環境では、言語間のコード生成が重要である。 本稿では,Python から Java などの言語への言語間移動を改善するための微調整手法とパラメータ拡張について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-lingual code generation is critical in enterprise environments where multiple programming languages coexist. However, fine-tuning large language models (LLMs) individually for each language is computationally prohibitive. This paper investigates whether parameter-efficient fine-tuning methods and optimizer enhancements can improve cross-lingual transfer from Python to languages like Java. We fine-tune the Code Llama 7B model using low-rank adaptation (LoRA) to optimize a small subset of parameters and compare Adam and Sophia optimizers, while exploring a novel Fourier-based regularization technique. Our contributions include: (1)demonstrating that LoRA fine-tuning on a small, high-quality dataset (MBPP) can exceed the pass@1 performance of the more broadly fine-tuned Code Llama-Python-7B model (40.1% vs. 38.4%); (2) showing that while Sophia achieves faster convergence than Adam, final pass@1 scores show marginal differences; and (3) presenting evidence that Fourier-based regularization during fine-tuning significantly improves cross-lingual transfer, achieving 42.1% pass@1 on Java tasks compared to the 34.2% baseline. These findings suggest that combining LoRA, optimized training methods, and frequency-domain regularization can efficiently adapt single-language LLMs to perform well across multiple programming languages.
• Abstract（参考訳）: 複数のプログラミング言語が共存するエンタープライズ環境では、言語間のコード生成が重要である。 しかし、各言語ごとに個別に微調整された大言語モデル(LLM)は、計算的に禁止されている。 本稿では,パラメータ効率のよい微調整手法と最適化機能拡張が,PythonからJavaなどの言語への言語間移行を改善するかどうかを検討する。 低ランク適応 (LoRA) を用いてコードLlama 7Bモデルを微調整し、パラメータの小さなサブセットを最適化し、Adam と Sophia のオプティマイザを比較し、新しいフーリエベースの正規化手法を探求する。 Llama-Python-7B モデル (40.1% vs. 38.4%) のパス@1 性能を超えることを実証し、(2) Sophia が Adam よりも高速な収束を実現しているのに対し、最終パス@1 スコアは限界差を示していることを示し、(3) 微調整中のフーリエベースの正規化が言語間転送を大幅に改善し、34.2% ベースラインと比較して 42.1% パス@1 を Java タスクで達成していることを示す。 これらの結果から,LoRA,最適化されたトレーニング手法,周波数領域正規化を組み合わせることで,複数の言語にまたがる単一言語LLMを効率よく適用できることが示唆された。

関連論文リスト

• Scaling Laws for Code: Every Programming Language Matters [73.6302896079007]
  コード大言語モデル(Code LLM)は強力だが、トレーニングにはコストがかかる。 異なるプログラミング言語(PL)は、ベースモデルの性能に大きな影響を及ぼす事前トレーニングの間に様々な影響を与える。 本稿では,多言語コードの事前学習のためのスケーリング法則を初めて体系的に検討する。
  論文  参考訳（メタデータ） (2025-12-15T16:07:34Z)
• Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation [23.597327427570658]
  本稿では,英語から35以上のハイ・ロー・リソース言語へのゼロショット・クロスランガル翻訳のためのプレフィックスに基づく3つの手法について包括的に研究する。 Llama 3.1 8Bでは、プレフィックスメソッドはベレベレベンチマークで最大6%LRAベースラインを上回った。 Mistral v0.3 7Bでも同様の改良が見られた。
  論文  参考訳（メタデータ） (2025-10-28T16:48:03Z)
• Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages [4.702593857707973]
  LLM(Large Language Models)は英語では優れているが、その性能は低リソース言語(LRL)では英語中心の訓練によって著しく低下する。 本稿では,全ての中間層を融合させ,LLMに渡される言語情報を豊かにする新しいアーキテクチャを提案する。 我々はLRLの性能向上を強く観察し、シンハラ分類の精度を71.66%から75.86%に改善し、タミル語、ベンガル語、マラヤラム語などのインド語言語で明らかに改善した。
  論文  参考訳（メタデータ） (2025-08-12T17:17:13Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。