論文の概要: Information Guided Regularization for Fine-tuning Language Models

• arxiv url: http://arxiv.org/abs/2406.14005v1
• Date: Thu, 20 Jun 2024 05:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 17:17:16.727204
• Title: Information Guided Regularization for Fine-tuning Language Models
• Title（参考訳）: 微調整言語モデルのための情報案内規則化
• Authors: Mandar Sharma, Nikhil Muralidhar, Shengzhe Xu, Raquib Bin Yosuf, Naren Ramakrishnan,
• Abstract要約: 我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。 モデル正規化の改善と下流一般化のための新しい手法を考案する。
• 参考スコア（独自算出の注目度）: 11.831883526217942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The pretraining-fine-tuning paradigm has been the de facto strategy for transfer learning in modern language modeling. With the understanding that task adaptation in LMs is often a function of parameters shared across tasks, we argue that a more surgical approach to regularization needs to exist for smoother transfer learning. Towards this end, we investigate how the pretraining loss landscape is affected by these task-sensitive parameters through an information-theoretic lens. We then leverage the findings from our investigations to devise a novel approach to dropout for improved model regularization and better downstream generalization. This approach, named guided dropout, is both task & architecture agnostic and adds no computational overhead to the fine-tuning process. Through empirical evaluations, we showcase that our approach to regularization yields consistently better performance, even in scenarios of data paucity, compared to standardized baselines.
• Abstract（参考訳）: プレトレーニング・ファインチューニングのパラダイムは、現代言語モデリングにおけるトランスファーラーニングのデファクト戦略である。 LMにおけるタスク適応は、タスク間で共有されるパラメータの関数であるという理解から、よりスムーズな伝達学習のためには、正規化に対するより外科的なアプローチが存在する必要があると論じる。 この目的に向けて、情報理論レンズを用いて、これらの課題に敏感なパラメータによる事前学習損失景観の影響について検討する。 次に,本研究から得られた知見を活用して,モデル正規化の改善と下流一般化のための新しいアプローチを考案する。 このアプローチは、ガイド付きドロップアウトと呼ばれ、タスクとアーキテクチャの両方に依存せず、微調整プロセスに計算オーバーヘッドを追加しない。 実証的な評価を通じて、標準化ベースラインと比較して、データ疎結合のシナリオにおいても、正規化に対する我々のアプローチは一貫してパフォーマンスが向上することを示した。

関連論文リスト

• Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
  TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。 我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
  論文  参考訳（メタデータ） (2024-07-24T01:04:34Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Cross-Regularization [78.61621802973262]
  トレーニング済み重量を効率的に更新するための直交微調整法を提案する。 クロスレギュラー化戦略はゼロショットの一般化の観点から安定性を維持するためにも用いられる。 提案手法は,タスク固有の知識を表現するために,事前学習した重み空間を明示的に操るものであることを実証するために,広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
  WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。 既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。 本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
  論文  参考訳（メタデータ） (2024-04-20T07:56:21Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。