論文の概要: Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.10610v1
• Date: Tue, 09 Jun 2026 09:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.411216
• Title: Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning
• Title（参考訳）: 小さなデータと大きな騒音:ロバストパラメータ効率の良い微調整のための逆トレーニング
• Authors: Eitan Cohen, Idan Simai, Uri Shaham,
• Abstract要約: 我々は,PEFTに敵対的訓練をもたらす統一的な枠組みを提案する。 このフレームワークは、敵の訓練とパラメータ効率の適応の、あまり議論のつかない交差点に対処する。 PEFTのデプロイメントは、データの不足と言語的多様性が共存する実世界のシナリオにおいて、より信頼性の高いものになる。
• 参考スコア（独自算出の注目度）: 3.0344469521198003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has become essential for adapting foundation models to downstream NLP tasks. However, current PEFT methods often struggle with robustness to noise and performance degradation on limited training data. We propose SDBN (Small Data Big Noise), a unified framework that brings adversarial training to PEFT - a combination that remains less studied in the PEFT setting despite its complementary strengths - to enhance model robustness and generalization, outperforming alternative approaches. We also introduce two variants of the method that use discrete uncertainty sets: SDBN-h, which enumerates character-level edits and selects worst-case variants using gradients, and SDBN-p, which uses LLM-generated variants for robust optimization in generative tasks. Experiments across multiple benchmarks reveal substantial improvements, particularly in low-resource settings and under both word-level and character-level corruptions. This framework addresses the less explored intersection of adversarial training and parameter-efficient adaptation, without introducing additional parameters or only modest computational overhead, making PEFT deployments more reliable in real-world scenarios where data scarcity and linguistic variability often coexist
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)は、基礎モデルを下流のNLPタスクに適応するために欠かせないものとなっている。 しかし、現在のPEFT法は、限られた訓練データにおいて、ノイズに対する堅牢性や性能劣化に悩まされることが多い。 モデルロバスト性や一般化性を向上し,代替手法よりも優れた手法として,PEFT に敵対的トレーニングをもたらす統合フレームワーク SDBN (Small Data Big Noise) を提案する。 文字レベルの編集を列挙・選択するSDBN-hと,ジェネレーティブタスクの堅牢な最適化にLLM生成の変種を用いるSDBN-pという2つの変種も導入する。 複数のベンチマークの実験では、特に低リソース設定や単語レベルと文字レベルの両方の汚職において、大幅な改善が示されている。 このフレームワークは,データ不足や言語的多様性が共存する実世界のシナリオにおいて,PEFT の展開をより信頼性の高いものにするため,追加のパラメータの導入や計算オーバーヘッドの最小化を伴わずに,敵の訓練とパラメータ効率の適応の少ない交差点に対処する。

関連論文リスト

• Nonparametric Variational Differential Privacy via Embedding Parameter Clipping [7.242101014224729]
  本稿では,変分言語モデルにおけるプライバシ問題に対処するためのパラメータクリップ方式を提案する。 以上の結果から, カットされたモデルでは厳密なRD境界が達成され, プライバシーが向上することが示唆された。 この研究は、変動モデルにおけるプライバシーとユーティリティのトレードオフを改善するためのシンプルで効果的な方法を示し、より堅牢で実用的なものである。
  論文  参考訳（メタデータ） (2026-03-10T12:34:03Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
  我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。 決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。 様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
  論文  参考訳（メタデータ） (2025-12-03T22:17:05Z)
• A Bayesian Hybrid Parameter-Efficient Fine-Tuning Method for Large Language Models [6.289645856908972]
  LLM(Large Language Models)は、世界を変える変革の可能性を示している。 これらのモデルは一般的なコーパスで事前訓練されているため、特定のビジネスアプリケーションのパフォーマンスを最適化するためにドメイン固有の微調整を必要とすることが多い。 実環境における不確実性認識と適応的意思決定を支援する新しいBH-PEFT法と動的微調整手法を提案する。
  論文  参考訳（メタデータ） (2025-07-31T01:20:20Z)
• Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
  SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。 我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。 静的マスキング戦略と動的マスキング戦略を比較し、トレーニング前にゼロでないエントリを事前に決定する静的マスキングが、パフォーマンスを犠牲にすることなく効率を向上することを示した。
  論文  参考訳（メタデータ） (2024-12-18T04:14:35Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。