論文の概要: Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization

• arxiv url: http://arxiv.org/abs/2503.16550v1
• Date: Wed, 19 Mar 2025 13:50:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 15:40:10.107202
• Title: Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization
• Title（参考訳）: 2段階最適化による言語モデルの一般化とロバスト性の統一化
• Authors: Yudao Sun, Juan Yin, Juan Zhao, Fan Zhang, Yongheng Liu, Hongji Chen,
• Abstract要約: 本稿では,LMの一般化とロバスト性の両方を均一に向上する二段階最適化フレームワークを提案する。 提案手法は,従来の手法と比較して,LMの一般化とロバスト性を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 2.502393972789905
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural network language models (LMs) are confronted with significant challenges in generalization and robustness. Currently, many studies focus on improving either generalization or robustness in isolation, without methods addressing both aspects simultaneously, which presents a significant challenge in developing LMs that are both robust and generalized. In this paper, we propose a bi-stage optimization framework to uniformly enhance both the generalization and robustness of LMs, termed UEGR. Specifically, during the forward propagation stage, we enrich the output probability distributions of adversarial samples by adaptive dropout to generate diverse sub models, and incorporate JS divergence and adversarial losses of these output distributions to reinforce output stability. During backward propagation stage, we compute parameter saliency scores and selectively update only the most critical parameters to minimize unnecessary deviations and consolidate the model's resilience. Theoretical analysis shows that our framework includes gradient regularization to limit the model's sensitivity to input perturbations and selective parameter updates to flatten the loss landscape, thus improving both generalization and robustness. The experimental results show that our method significantly improves the generalization and robustness of LMs compared to other existing methods across 13 publicly available language datasets, achieving state-of-the-art (SOTA) performance.
• Abstract（参考訳）: ニューラルネットワーク言語モデル(LM)は、一般化と堅牢性において大きな課題に直面している。 現在、多くの研究は、両方の側面に同時に対処する手法を使わずに、分離における一般化または堅牢性の改善に重点を置いている。 本稿では, UEGR と呼ばれる LM の一般化とロバスト性の両方を均一に向上する二段階最適化フレームワークを提案する。 具体的には, 前向き伝播段階において, 適応ドロップアウトにより, 対向サンプルの出力確率分布を増大させ, 多様なサブモデルを生成するとともに, これらの出力分布のJSばらつきと対向損失を取り入れて出力安定性を向上する。 後方伝播の段階ではパラメータ・サリエンシのスコアを計算し、最も重要なパラメータのみを選択的に更新し、不必要な偏差を最小限に抑え、モデルのレジリエンスを増強する。 理論的解析により,本フレームワークは,入力摂動に対するモデルの感度を制限するための勾配正則化と,損失景観を平坦化するための選択パラメータ更新を含んでおり,一般化とロバスト性の両方を改善していることがわかった。 実験の結果,提案手法は,13の公開言語データセットにまたがる既存の手法と比較して,LMの一般化とロバスト性を大幅に向上し,最先端(SOTA)性能を実現していることがわかった。

関連論文リスト

• Learning from Heterogeneity: Generalizing Dynamic Facial Expression Recognition via Distributionally Robust Optimization [23.328511708942045]
  Heterogeneity-Aware Distributional Framework (HDF) は、時間周波数モデリングを強化し、ハードサンプルによる不均衡を軽減するために設計された。 時間周波数分散アテンションモジュール(DAM)は、時間的一貫性と周波数ロバスト性の両方をキャプチャする。 適応最適化モジュール 分散対応スケーリングモジュール (DSM) は、動的に分類と対照的な損失のバランスをとるために導入された。
  論文  参考訳（メタデータ） (2025-07-21T16:21:47Z)
• Iterative Augmentation with Summarization Refinement (IASR) Evaluation for Unstructured Survey data Modeling and Analysis [0.43988112145759295]
  本研究は,大規模言語モデル(LLM)に基づくテキスト拡張のための原則的評価フレームワークを導入する。 実証評価の結果, GPT-3.5 Turbo はセマンティック忠実度, 多様性, 生成効率の最良のバランスを達成できた。
  論文  参考訳（メタデータ） (2025-07-16T10:49:30Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [58.651951388346525]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 その結果,DMPOで微調整した拡散モデルは,既存の手法よりも常に優れるか,一致しているかが示唆された。 DMPOは、優先順位調整のための堅牢でエレガントな経路を解き、拡散モデルにおいて実用的な性能を持つ原理的理論をブリッジする。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• Unveiling the Potential of Diffusion Large Language Model in Controllable Generation [11.181783720439563]
  拡散モデルは、もともと画像生成のために開発されたもので、自己回帰型大規模言語モデル(LLM)に代わる有望な代替品として登場した。 自己回帰とマスク拡散LDM(dLLMs)を比較した理論的解析法を提案する。 textbfSelf-adaptivetextbfSchema textbfScafは、dLLMが意味的忠実さを維持し、推論を加速しながら構造化された出力を生成する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-07-06T18:41:34Z)
• Adaptive Spatial Augmentation for Semi-supervised Semantic Segmentation [51.645152962504056]
  半教師付きセマンティックセグメンテーションでは、データ拡張は弱い一貫性の規則化フレームワークにおいて重要な役割を果たす。 空間増強はSSSSのモデルトレーニングに寄与するが,弱い面と強い面の間には一貫性のないマスクが生じる。 本稿では,各インスタンスのエントロピーに基づいて動的に拡張を調整する適応的拡張戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-29T13:35:48Z)
• Tuning for Trustworthiness -- Balancing Performance and Explanation Consistency in Neural Network Optimization [49.567092222782435]
  我々は,異なる特徴帰属法間の合意として定義された,XAI整合性という新しい概念を紹介する。 予測性能と説明のバランスをとる多目的最適化フレームワークを構築した。 本研究は、トレードオフゾーンバランス性能損失とXAI整合性による強靭性向上のモデルについて、今後の研究基盤を提供する。
  論文  参考訳（メタデータ） (2025-05-12T13:19:14Z)
• SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data [15.366930934639838]
  モデルロバスト性と一般化を向上する新しいアプローチであるSALADを提案する。 提案手法は,コントラスト学習のための構造認識および非実効的拡張データを生成する。 本研究のアプローチは,感性分類,性行為検出,自然言語推論の3つのタスクを用いて検証する。
  論文  参考訳（メタデータ） (2025-04-16T15:40:10Z)
• Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training [0.0]
  モデルロバスト性を評価し改善するために、3,000サンプルのコントラストセットを作成します。 これらのコントラストの微調整は、体系的に摂動された例の性能を高め、標準テスト精度を維持し、新しい摂動の一般化を緩やかに改善した。
  論文  参考訳（メタデータ） (2025-03-09T14:52:53Z)
• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [10.142949909263846]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization [22.577751005038543]
  Federated Learning(FL)は、複数のデバイスで機械学習モデルをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。 本稿ではアルゴリズムに依存した過剰リスク最小化のための革新的な一般化ダイナミクス解析フレームワークLibraを紹介する。
  論文  参考訳（メタデータ） (2024-11-25T11:43:22Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• The Price of Implicit Bias in Adversarially Robust Generalization [25.944485657150146]
  頑健な経験的リスク最小化(robust ERM)における最適化の暗黙バイアスについて検討する。 本研究では,ロバストEMMにおける最適化の暗黙バイアスがモデルのロバスト性に大きな影響を与えることを示す。
  論文  参考訳（メタデータ） (2024-06-07T14:44:37Z)
• Out-of-distribution robustness for multivariate analysis via causal regularisation [4.487663958743944]
  本稿では,分散シフトに対するロバスト性を確保するために,因果性に根ざした正規化戦略を提案する。 アンカー回帰フレームワークに基づいて、古典アルゴリズムの損失関数に単純な正規化項を組み込む方法を示す。 本フレームワークでは,損失関数と正規化戦略との整合性を効率よく検証することができる。
  論文  参考訳（メタデータ） (2024-03-04T09:21:10Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。