Fugu-MT 論文翻訳(概要): The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection

論文の概要: The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection

arxiv url: http://arxiv.org/abs/2210.00907v1
Date: Mon, 3 Oct 2022 13:08:09 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 15:06:41.159561
Title: The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
Title（参考訳）: ファクチュアル・ナレッジ・インジェクションにおけるマスケッド言語モデリングと適応器の有効性
Authors: Sondre Wold
Abstract要約: マスク付き言語モデリングの目的を用いて,ConceptNetナレッジグラフの一部にアダプタモジュールをトレーニングする。 LAMAプローブを用いた一連の探査実験により,本手法の有効性を検証した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper studies the problem of injecting factual knowledge into large pre-trained language models. We train adapter modules on parts of the ConceptNet knowledge graph using the masked language modeling objective and evaluate the success of the method by a series of probing experiments on the LAMA probe. Mean P@K curves for different configurations indicate that the technique is effective, increasing the performance on subsets of the LAMA probe for large values of k by adding as little as 2.1% additional parameters to the original models.
Abstract（参考訳）: 本稿では,大規模な事前学習言語モデルに事実知識を注入する問題について検討する。マスク付き言語モデリングの目的を用いてConceptNet知識グラフの一部にアダプタモジュールをトレーニングし,LAMAプローブを用いた一連の探索実験により手法の成功を評価する。異なる構成に対する平均P@K曲線は、この手法が有効であることを示し、元のモデルに2.1%のパラメータを追加することで、大きなk値に対するLAMAプローブのサブセットの性能を高める。

関連論文リスト

Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
論文参考訳（メタデータ） (2024-10-22T20:39:21Z)
Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2024-07-12T17:25:02Z)
Exploring the Effectiveness of Methods for Persona Extraction [0.0]
本稿では,対話参加者に関する情報を抽出し,そのパフォーマンスをロシア語で評価する手法について検討する。このタスクのモデルをトレーニングするために、Multi-Session Chatデータセットは複数の翻訳モデルを使用してロシア語に翻訳された。抽出モデルの有効性を評価するために,Fスコアの概念に基づく計量を示す。
論文参考訳（メタデータ） (2024-07-12T11:30:10Z)
Mixture-of-Linguistic-Experts Adapters for Improving and Interpreting Pre-trained Language Models [22.977852629450346]
本稿では,言語モデルに言語構造を注入することで,2つの人気のある研究領域を組み合わせる手法を提案する。本研究では,異なる言語構造をコードする並列アダプタモジュールを,Mixture-of-Linguistic-Expertsアーキテクチャを用いて組み合わせる。実験の結果,本手法はパラメータ数に比較して,最先端のPEFT法より優れていることがわかった。
論文参考訳（メタデータ） (2023-10-24T23:29:06Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文参考訳（メタデータ） (2023-10-17T17:58:34Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
A Cohesive Distillation Architecture for Neural Language Models [0.0]
自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
論文参考訳（メタデータ） (2023-01-12T08:01:53Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
Visualizing the Relationship Between Encoded Linguistic Information and Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文参考訳（メタデータ） (2022-03-29T19:03:10Z)
Maximizing Efficiency of Language Model Pre-training for Learning Representation [6.518508607788086]
ELECTRAは、事前訓練された言語モデルの計算効率を改善するための新しいアプローチである。本研究は,事前学習プロセスの効率を最大化する適応早期終了戦略を提案する。
論文参考訳（メタデータ） (2021-10-13T10:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。