論文の概要: Selecting Auxiliary Data via Neural Tangent Kernels for Low-Resource Domains

• arxiv url: http://arxiv.org/abs/2511.07380v1
• Date: Mon, 10 Nov 2025 18:41:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.415574
• Title: Selecting Auxiliary Data via Neural Tangent Kernels for Low-Resource Domains
• Title（参考訳）: 低リソース領域に対するニューラルタンジェントカーネルによる補助データの選択
• Authors: Pingjie Wang, Hongcheng Liu, Yusheng Liao, Ziqing Fan, Yaxin Du, Shuo Tang, Yanfeng Wang, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)は広範囲にわたるタスクで大きな成功を収めていますが、データ不足と過度に適合するリスクが高いため、低リソース領域での適用は依然として大きな課題です。 我々は、一般的なドメイン補助データを選択して、ニューラルネットワーク(NTK)を介してドメイン固有のパフォーマンスを高めるための、原則的で効率的なフレームワークであるtextbfNTK-Selectorを提案する。
• 参考スコア（独自算出の注目度）: 35.3441899125603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable success across widespread tasks, yet their application in low-resource domains remains a significant challenge due to data scarcity and the high risk of overfitting. While in-domain data is limited, there exist vast amounts of similar general-domain data, and our initial findings reveal that they could potentially serve as auxiliary supervision for domain enhancement. This observation leads us to our central research question: \textbf{\textit{how to effectively select the most valuable auxiliary data to maximize domain-specific performance}}, particularly when traditional methods are inapplicable due to a lack of large in-domain data pools or validation sets. To address this, we propose \textbf{NTK-Selector}, a principled and efficient framework for selecting general-domain auxiliary data to enhance domain-specific performance via neural tangent kernels (NTK). Our method tackles two challenges of directly applying NTK to LLMs, theoretical assumptions and prohibitive computational cost, by empirically demonstrating a stable NTK-like behavior in LLMs during LoRA fine-tuning and proposing a Jacobian-free approximation method. Extensive experiments across four low-resource domains (medical, financial, legal, and psychological) demonstrate that NTK-Selector consistently improves downstream performance. Specifically, fine-tuning on 1,000 in-domain samples alone only yielded +0.8 points for Llama3-8B-Instruct and +0.9 points for Qwen3-8B. In contrast, enriching with 9,000 auxiliary samples selected by NTK-Selector led to substantial \textbf{gains of +8.7 and +5.1 points}, which corresponds to a \textbf{10.9x and 5.7x improvement} over the domain-only setting.
• Abstract（参考訳）: 大規模言語モデル(LLM)は広範囲にわたるタスクで大きな成功を収めていますが、データ不足と過度に適合するリスクが高いため、低リソース領域での適用は依然として大きな課題です。 ドメイン内データには制限があるが、類似の汎用ドメインデータが多数存在し、最初の発見はドメイン拡張のための補助的監視として機能する可能性があることを示している。 特に、ドメイン内の大きなデータプールや検証セットが欠如しているため、従来のメソッドが適用できない場合です。 そこで本研究では,ニューラルネットワークカーネル(NTK)によるドメイン固有性能を高めるために,汎用ドメイン補助データを選択するための基本的かつ効率的なフレームワークである‘textbf{NTK-Selector} を提案する。 提案手法は, LLMにNTKを直接適用する2つの課題, 理論的仮定, 禁制的な計算コストを, LoRA微調整中における安定したNTK様の挙動を実証的に証明し, ヤコビアンフリー近似法を提案する。 4つの低リソース領域(医療、金融、法律、心理学)にわたる大規模な実験は、NTKセレクタがダウンストリームのパフォーマンスを一貫して改善していることを示している。 具体的には、1000個の試料の微調整だけで、Llama3-8B-インストラクトで+0.8点、Qwen3-8Bで+0.9点しか得られなかった。 対照的に、NTK-セレクターによって選択された9000個の補助サンプルを濃縮すると、ドメインのみの設定に対して、+8.7点と+5.1点の相当な \textbf{gains が生じる。

関連論文リスト

• DmC: Nearest Neighbor Guidance Diffusion Model for Offline Cross-domain Reinforcement Learning [11.290019540058625]
  クロスドメインオフライン強化学習(RL)は、追加のオフラインソースデータセットを利用することで、サンプル効率の向上を目指している。 DmCは、限られたターゲットサンプルを持つクロスドメインオフラインRLのための新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-07-28T03:34:15Z)
• Deep Generic Representations for Domain-Generalized Anomalous Sound Detection [10.18337180909434]
  ドメイン一般化ASDのためのkNNと組み合わされた大規模事前学習型特徴抽出器の汎用的特徴表現を利用するtextitGenRepを提案する。 textitGenRepは、DCASE2023T2 Evalセットで73.79%のオフィシャルスコアを持つラベル付きデータを必要とせずに、最高のOEベースのアプローチより優れている。
  論文  参考訳（メタデータ） (2024-09-08T09:20:30Z)
• MADAv2: Advanced Multi-Anchor Based Active Domain Adaptation Segmentation [98.09845149258972]
  セマンティックセグメンテーションタスクに関するドメイン適応を支援するために,アクティブなサンプル選択を導入する。 これらのサンプルを手動でアノテートする作業量が少ないため、ターゲット領域分布の歪みを効果的に緩和することができる。 長期分布問題を緩和するために、強力な半教師付きドメイン適応戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:55:22Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)
• Inductive Unsupervised Domain Adaptation for Few-Shot Classification via Clustering [16.39667909141402]
  ショットの分類は、多様なドメインに適応する必要がある場合、苦労する傾向があります。 本稿では、ClusteringによるFew-shot分類のためのドメイン適応性能を改善するためのフレームワークDaFeCを紹介する。 提案手法は, 絶対利得(分類精度)が4.95%, 9.55%, 3.99%, 11.62%であった。
  論文  参考訳（メタデータ） (2020-06-23T08:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。