論文の概要: LMPriors: Pre-Trained Language Models as Task-Specific Priors
- arxiv url: http://arxiv.org/abs/2210.12530v1
- Date: Sat, 22 Oct 2022 19:09:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 12:51:24.482903
- Title: LMPriors: Pre-Trained Language Models as Task-Specific Priors
- Title（参考訳）: LMPriors:タスク特化プライオリティとしての事前訓練言語モデル
- Authors: Kristy Choi, Chris Cundy, Sanjari Srivastava, Stefano Ermon
- Abstract要約: 適切な事前条件でモデルを拡張するための原則的手法を開発した。
これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。
我々は,近年の大規模言語モデル(LM)の成功から着想を得た。
- 参考スコア（独自算出の注目度）: 78.97143833642971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Particularly in low-data regimes, an outstanding challenge in machine
learning is developing principled techniques for augmenting our models with
suitable priors. This is to encourage them to learn in ways that are compatible
with our understanding of the world. But in contrast to generic priors such as
shrinkage or sparsity, we draw inspiration from the recent successes of
large-scale language models (LMs) to construct task-specific priors distilled
from the rich knowledge of LMs. Our method, Language Model Priors (LMPriors),
incorporates auxiliary natural language metadata about the task -- such as
variable names and descriptions -- to encourage downstream model outputs to be
consistent with the LM's common-sense reasoning based on the metadata.
Empirically, we demonstrate that LMPriors improve model performance in settings
where such natural language descriptions are available, and perform well on
several tasks that benefit from such prior knowledge, such as feature
selection, causal inference, and safe reinforcement learning.
- Abstract（参考訳）: 特に低データのレシエーションにおいて、機械学習における際立った課題は、適切な優先順位でモデルを拡張するための原則化された技術を開発することである。
これは、世界に対する私たちの理解と相容れない方法で学ぶことを奨励するものです。
しかし、縮小や疎外化といった一般的な先行性とは対照的に、近年の大規模言語モデル(LM)の成功からインスピレーションを得て、LMの豊富な知識から抽出されたタスク固有の先行性を構築する。
このメソッドであるlanguage model priors(lmpriors)は、変数名や記述など、タスクに関する補助的な自然言語メタデータを組み込んで、下流モデルの出力をメタデータに基づいたlmの共通センス推論と整合性を持たせます。
実験により,LMPriorは,このような自然言語記述が利用可能な環境でのモデル性能を向上し,特徴選択や因果推論,安全強化学習といった事前知識の恩恵を受けるいくつかのタスクにおいて良好に機能することを示した。
関連論文リスト
- A Practical Guide to Fine-tuning Language Models with Limited Data [9.413178499853156]
事前訓練されたLarge Language Models (LLM) を採用することは、膨大なデータ要件にもかかわらず、自然言語処理(NLP)における事実上の標準となっている。
限られたデータを用いたLLMの学習に焦点をあてた最近の研究の急増に触発された本研究では、データ不足の下流タスクにおけるモデル性能を最適化するための、近年のトランスファー学習アプローチについて調査する。
論文 参考訳（メタデータ） (2024-11-14T15:55:37Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Unsupervised Improvement of Factual Knowledge in Language Models [4.5788796239850225]
マスケッド言語モデリングは、大規模言語モデルの事前訓練において重要な役割を果たす。
本稿では,様々な知識集約型タスクにおいて,言語モデルの性能を向上させる方法として,事前学習に影響を与えるアプローチを提案する。
論文 参考訳（メタデータ） (2023-04-04T07:37:06Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳（メタデータ） (2022-02-03T18:55:52Z) - MergeDistill: Merging Pre-trained Language Models using Distillation [5.396915402673246]
我々は、最小限の依存関係で彼らの資産を最大限に活用できる方法で、事前訓練されたLMをマージするフレームワークであるMergeDistillを提案する。
我々は,既存の教師LMと,何桁ものデータと固定モデルキャパシティで訓練された教師LMとの競争力や性能を向上する訓練学生LMを活用して,実践的にフレームワークの適用性を実証する。
論文 参考訳（メタデータ） (2021-06-05T08:22:05Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳（メタデータ） (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。