論文の概要: DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation
- arxiv url: http://arxiv.org/abs/2607.13967v1
- Date: Wed, 15 Jul 2026 15:53:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.825823
- Title: DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation
- Title（参考訳）: DeltaMerge-LowRes:低リソース適応のための言語とタスクデルタの構成
- Abstract要約: 複数言語エンコーダを新しい言語に適応させることで、数百金のサンプルしか持たない新しいタスクが、一般的な低リソースのNLP設定である。
代わりに個別にトレーニングし、重量空間で再結合できるかどうかを問う。
DeltaMergeLowResは、ラベル付きモノリンガルテキストから言語デルタ$_L、ラベル付き英語データからタスクデルタ$_Tを学び、4つのルールのうちの1つで推論時に合成する。
- 参考スコア（独自算出の注目度）: 0.6372261626436676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting a multilingual encoder to a new language \emph{and} a new task with only a few hundred gold examples is a common low-resource NLP setting, yet the two axes are usually fused via an expensive language--task fine-tuning run. We ask whether they can instead be trained separately and recombined in weight space. \DeltaMergeLowRes{} learns a language delta $Δ_L$ from unlabeled monolingual text and a task delta $Δ_T$ from labeled English data, then composes them at inference under one of four rules: additive, activation-guided, sparsity-aware, and a novel \emph{cross-axis TIES}. The new rule adapts the TIES-Merging steps of trimming, sign election, and merging to the language and task axes rather than to two task axes. Holding $(Δ_L,Δ_T)$ fixed across rules on four task families and four African languages ($158$ evaluated cells, $10{,}000$-sample paired bootstrap per cell), we find: (i) cross-axis TIES wins summarisation on $3/4$ languages by $+4$ to $+7$ chrF (chrF $18.59$ vs.\ $13.80$ task-only); (ii) it improves QA F1 by $+2.32$ and EM by $+2.91$; and (iii) sparsity-aware merging cuts classification ECE by $36\%$ at parity macro-F1. The composition rule materially changes what the merged model preserves, suppresses, and calibrates. We release all JSON traces and a claim ledger.
- Abstract（参考訳）: 複数言語エンコーダを新しい言語 \emph{and} に適応させることで、数百金のサンプルしか持たない新しいタスクは、一般的な低リソースのNLP設定である。
代わりに個別にトレーニングし、重量空間で再結合できるかどうかを問う。
DeltaMergeLowRes{} は、ラベル付きモノリンガルテキストから言語 delta $Δ_L$ とラベル付き英語データからタスク delta $Δ_T$ を学習し、追加、アクティベーション誘導、スパーシティ対応、新しい \emph{cross-axis TIES} の4つのルールのうちの1つで推論時に合成する。
新しいルールは、TIES-Mergingの2つのタスク軸ではなく、トリミング、署名の選挙、および言語とタスク軸へのマージのステップに適合する。
4つのタスクファミリと4つのアフリカ言語(評価セル158ドル,10{,}000$-sample paired bootstrap per cell)のルールで固定された$(Δ_L,Δ_T)を保持すれば,次のようなことが分かる。
(i)クロス軸TIESは$+4$から$+7$chrF(chrF $18.59$ vs.)で3/4$の言語を要約する。
$13.80$タスクのみ)
(ii)QA F1を$2.32$、EMを$2.91$改善し、
(iii)パリティマクロF1では、スペーサ対応マージングによりECE分類は36\%カットされる。
構成規則は、マージされたモデルが保持し、抑制し、校正するものを実質的に変更する。
すべてのJSONトレースとクレーム台帳をリリースします。
関連論文リスト
- Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。
SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。
トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
論文 参考訳（メタデータ） (2026-07-14T18:39:29Z) - Borrowed Geometry: Computational Reuse of Frozen Text-Pretrained Transformer Weights Across Modalities [0.0]
Gemma 4 31B はテキストトークンのみに事前訓練され、修正されていない、モダリティ境界を越えて転送される。
Gemma 4 31Bは2026年4月現在、小規模なフロンティアで唯一のモデルである。
論文 参考訳（メタデータ） (2026-05-01T01:23:37Z) - Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。
Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
論文 参考訳（メタデータ） (2026-04-20T12:29:53Z) - DuoLens: A Framework for Robust Detection of Machine-Generated Multilingual Text and Code [5.38764489657443]
多言語テキストとソースコードを生成するLarge Language Models (LLMs) は、マシン生成コンテンツ検出器がドメイン全体にわたって正確かつ効率的であることの必須条件を増大させるだけである。
現在の検出器は、Fast DetectGPTやGPTZeroのようなゼロショット法を主に利用しており、高い計算コストまたは十分な精度が欠如している。
本稿では,エンコーダのみのSmall Language Models (SLM) の微調整,特にRoBERTAとCodeBERTaの事前学習モデルについて,ソースコードやその他の自然言語に関する特別なデータセットを用いて提案する。
論文 参考訳（メタデータ） (2025-10-21T00:17:00Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z) - Clustering Propagation for Universal Medical Image Segmentation [63.431147442243855]
医用画像のセグメンテーションのための卓越したソリューションは、通常、自動的またはインタラクティブな設定のために調整される。
クラスタリングベースのセグメンテーション技術にインスパイアされたS2VNetは、データのスライスワイズ構造をフル活用する。
S2VNetは、一般的な3Dソリューションに比べて高速な推論速度とメモリ消費の削減により、自分自身を区別する。
論文 参考訳（メタデータ） (2024-03-25T11:32:05Z) - How do Large Language Models Handle Multilingualism? [81.15060972112563]
本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。
LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。
中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
論文 参考訳（メタデータ） (2024-02-29T02:55:26Z) - UMBCLU at SemEval-2024 Task 1A and 1C: Semantic Textual Relatedness with and without machine translation [0.09208007322096534]
SemEval-2024 Task 1の目的は、2つの文間の意味的テキスト関連性を特定するモデルを開発することである。
教師付きおよび言語間設定のための2つのSTRモデル、textitTranSem$ と $textitFineSem$ を開発します。
論文 参考訳（メタデータ） (2024-02-20T05:46:29Z) - A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。
ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
論文 参考訳（メタデータ） (2023-10-22T21:38:57Z) - RED$^{\rm FM}$: a Filtered and Multilingual Relation Extraction Dataset [35.5973651237632]
本稿では,多言語関係抽出システムの訓練と評価を可能にする2つの新しいリソースを提案する。
まず、SRED$rm FM$という18の言語、400のリレーショナルタイプ、13のエンティティタイプを含む自動アノテーション付きデータセットを提示する。
第2にRED$rm FM$は、多言語REシステムの評価を可能にする7言語のための、より小さく、人間によって改訂されたデータセットである。
論文 参考訳（メタデータ） (2023-06-16T12:29:59Z) - SIT at MixMT 2022: Fluent Translation Built on Giant Pre-trained Models [3.7893096749810264]
本稿では,WMT 2022共有タスク:コード混合機械翻訳(MixMT)へのスティーブンス工科大学の提出について述べる。
このタスクは2つのサブタスクで構成されており、サブタスクはヒンディー語/英語で1ドル、サブタスクで2ドルヒンディ語/英語で2ドルだった。
我々の発見は、大規模な訓練済みの多言語NMTモデルとドメイン内データセットを使用することによる改善に起因している。
論文 参考訳（メタデータ） (2022-10-21T01:49:40Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。