Fugu-MT 論文翻訳(概要): Information Guided Regularization for Fine-tuning Language Models

論文の概要: Information Guided Regularization for Fine-tuning Language Models

arxiv url: http://arxiv.org/abs/2406.14005v2
Date: Fri, 21 Jun 2024 12:41:17 GMT
ステータス: 処理完了
システム内更新日: 2024-06-24 12:14:34.656680
Title: Information Guided Regularization for Fine-tuning Language Models
Title（参考訳）: 微調整言語モデルのための情報案内規則化
Authors: Mandar Sharma, Nikhil Muralidhar, Shengzhe Xu, Raquib Bin Yousuf, Naren Ramakrishnan,
Abstract要約: 我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。モデル正規化の改善と下流一般化のための新しい手法を考案する。
参考スコア（独自算出の注目度）: 11.831883526217942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The pretraining-fine-tuning paradigm has been the de facto strategy for transfer learning in modern language modeling. With the understanding that task adaptation in LMs is often a function of parameters shared across tasks, we argue that a more surgical approach to regularization needs to exist for smoother transfer learning. Towards this end, we investigate how the pretraining loss landscape is affected by these task-sensitive parameters through an information-theoretic lens. We then leverage the findings from our investigations to devise a novel approach to dropout for improved model regularization and better downstream generalization. This approach, named guided dropout, is both task & architecture agnostic and adds no computational overhead to the fine-tuning process. Through empirical evaluations, we showcase that our approach to regularization yields consistently better performance, even in scenarios of data paucity, compared to standardized baselines.
Abstract（参考訳）: プレトレーニング・ファインチューニングのパラダイムは、現代言語モデリングにおけるトランスファーラーニングのデファクト戦略である。 LMにおけるタスク適応は、タスク間で共有されるパラメータの関数であるという理解から、よりスムーズな伝達学習のためには、正規化に対するより外科的なアプローチが存在する必要があると論じる。この目的に向けて、情報理論レンズを用いて、これらの課題に敏感なパラメータによる事前学習損失景観の影響について検討する。次に,本研究から得られた知見を活用して,モデル正規化の改善と下流一般化のための新しいアプローチを考案する。このアプローチは、ガイド付きドロップアウトと呼ばれ、タスクとアーキテクチャの両方に依存せず、微調整プロセスに計算オーバーヘッドを追加しない。実証的な評価を通じて、標準化ベースラインと比較して、データ疎結合のシナリオにおいても、正規化に対する我々のアプローチは一貫してパフォーマンスが向上することを示した。

関連論文リスト

Meta-Learning Adaptable Foundation Models [37.458141335750696]
本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
論文参考訳（メタデータ） (2024-10-29T17:24:18Z)
Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance [68.56701216210617]
In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
論文参考訳（メタデータ） (2024-10-14T17:57:09Z)
Train-Attention: Meta-Learning Where to Focus in Continual Knowledge Learning [15.475427498268393]
TAALM(Train-Attention-Augmented Language Model)は,トークンに対する重み付けを動的に予測・適用することにより,学習効率を向上させる。我々は,TAALMがベースライン上での最先端性能を証明し,従来のCKLアプローチと統合した場合に相乗的互換性を示すことを示す。
論文参考訳（メタデータ） (2024-07-24T01:04:34Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文参考訳（メタデータ） (2024-05-28T20:43:53Z)
STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
論文参考訳（メタデータ） (2024-04-20T07:56:21Z)
Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文参考訳（メタデータ） (2023-06-05T15:11:59Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文参考訳（メタデータ） (2021-09-03T14:29:20Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。