論文の概要: Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2606.10428v1
• Date: Tue, 09 Jun 2026 05:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.329761
• Title: Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning
• Title（参考訳）: LoRAとは何か : 多言語学習におけるLoRA手法の有効性に関する実証的研究
• Authors: Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga,
• Abstract要約: 基本的なLoRAではなく、より複雑なLoRA変種を使うことには大きな利点はない。 隠された埋め込みの解析により、レイヤワイド言語表現は、異なるLoRA技術で微調整されたLLM間で大きく類似していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.4727594545890796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether commonly available LoRA variants have an advantage over basic LoRA in multilingual instruction tuning. Experiments involving LoRA and four other variants on two datasets across diverse target languages show that there is no significant advantage in using more complex LoRA variants instead of basic LoRA, with respect to balancing cross-lingual transfer and knowledge retention. An analysis of hidden embeddings reveal that layer-wise language representation remains largely similar across LLMs fine-tuned with different LoRA techniques, suggesting that architectural novelty of LoRA techniques may not translate into better cross-lingual adaptation.
• Abstract（参考訳）: 一般的なLoRA変種が、多言語命令チューニングにおいて、基本的なLoRAよりも有利であるかどうかを検討する。 多様なターゲット言語にまたがる2つのデータセット上で、LoRAと他の4つの変種を含む実験は、言語間の移動と知識保持のバランスに関して、基本的なLoRAではなく、より複雑なLoRA変種を使用することに大きな利点がないことを示している。 隠された埋め込みの分析により、レイヤワイド言語表現は、異なるLoRA技法で微調整されたLLM間で大きく類似していることが明らかとなり、LoRA技法のアーキテクチャ上の新規性は、より優れた言語間適応に変換されない可能性が示唆された。

関連論文リスト

• Two Is Better Than One: Rotations Scale LoRAs [26.617019830475172]
  Low-Rank Adaptation (LoRA)ベースのMixture-of-Experts (MoE)は、大規模言語モデル(LLM)が多様なタスクに効率的に適応できるようにする。 入力を最良の専門家にルーティングする従来のゲーティングメカニズムは、LLMのスケーラビリティを根本的に阻害する可能性がある。 本稿では,ロラス表現の回転操作を導入し,幾何学的に着想を得た新しいゲーティング手法であるRadarGateを提案する。
  論文  参考訳（メタデータ） (2025-05-29T07:22:43Z)
• Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
  Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。 最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。 効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。 各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T06:56:39Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Multi-LoRA Composition for Image Generation [107.83002438126832]
  復号化中心の観点から,マルチロラ合成について検討する。 我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:18Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
  LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。 我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-20T02:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。