論文の概要: Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.13368v1
• Date: Mon, 17 Nov 2025 13:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.236077
• Title: Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning
• Title（参考訳）: ドナーとレシピ:パラメータ効率の良い微調整を伴うタスクと言語間の非対称移動について
• Authors: Kajetan Dymkiewicz, Ivan Vulic, Helen Yannakoudakis, Eilam Shapira, Roi Reichart, Anna Korhonen,
• Abstract要約: 大規模言語モデル(LLM)はタスクや言語間で強く機能する。 あるタスクや言語の改善が他のタスクや言語にどのように影響するか、それらの組み合わせはいまだに理解されていない。
• 参考スコア（独自算出の注目度）: 61.568735270400786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) perform strongly across tasks and languages, yet how improvements in one task or language affect other tasks and languages and their combinations remains poorly understood. We conduct a controlled PEFT/LoRA study across multiple open-weight LLM families and sizes, treating task and language as transfer axes while conditioning on model family and size; we fine-tune each model on a single task-language source and measure transfer as the percentage-point change versus its baseline score when evaluated on all other task-language target pairs. We decompose transfer into (i) Matched-Task (Cross-Language), (ii) Matched-Language (Cross-Task), and (iii) Cross-Task (Cross-Language) regimes. We uncover two consistent general patterns. First, a pronounced on-task vs. off-task asymmetry: Matched-Task (Cross-Language) transfer is reliably positive, whereas off-task transfer often incurs collateral degradation. Second, a stable donor-recipient structure across languages and tasks (hub donors vs. brittle recipients). We outline implications for risk-aware fine-tuning and model specialisation.
• Abstract（参考訳）: 大きな言語モデル(LLM)はタスクや言語間で強く機能するが、あるタスクや言語の改善が他のタスクや言語にどのように影響するかは理解されていない。 我々は,複数のオープンウェイトLLMファミリーとサイズに対して制御されたPEFT/LoRA研究を行い,モデルファミリーとサイズを条件付けしながらタスクと言語を転送軸として扱う。 移行を分解する (i)Matched-Task(Cross-Language) (二)マッチング言語(クロスタスク)及び 三 クロスタスク(クロス・ランゲージ)体制 一貫性のある2つの一般的なパターンを発見しました。 まず、オン・タスク対オフ・タスク非対称性:マッチ・タスク(クロス・ランゲージ)転送は確実に正であり、オフ・タスク・トランスファーは、しばしば側方劣化を引き起こす。 第二に、言語とタスク(hub donor vs. brittle receiveds)をまたいだ安定したドナー-レシピ構造です。 リスクを意識した微調整とモデル専門化の意義を概説する。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness [16.896143197472114]
  本稿では,アフリカとアジアの言語に対するセマンティックテキスト関連性(SemEval-2024 Task 1: Semantic Textual Relatedness)について述べる。 本稿では,限られたトレーニングデータの低リソース化問題に対処するために,機械翻訳によるデータ拡張を提案する。 我々のシステムは、サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において、すべてのチームの中で最善を尽くします。
  論文  参考訳（メタデータ） (2024-04-01T21:21:15Z)
• AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging [96.39773974044041]
  言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。 本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。 実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-02-29T07:11:24Z)
• CUNI Submission to MRL 2023 Shared Task on Multi-lingual Multi-task Information Retrieval [5.97515243922116]
  本稿では,多言語多タスク情報検索におけるMRL2023共有タスクのためのチャールズ大学システムを提案する。 共有タスクの目的は、いくつかの未表現言語で名前付きエンティティ認識と質問応答のためのシステムを開発することである。 両方のサブタスクに対する私たちのソリューションは、翻訳テストのアプローチに依存しています。
  論文  参考訳（メタデータ） (2023-10-25T10:22:49Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers [1.869621561196521]
  我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。 目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。 多言語とクロスリンガルの両方の設定のためのシステムを提出します。
  論文  参考訳（メタデータ） (2021-04-04T08:49:28Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。