論文の概要: Pre-trained language models as knowledge bases for Automotive Complaint
Analysis
- arxiv url: http://arxiv.org/abs/2012.02558v1
- Date: Fri, 4 Dec 2020 12:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 20:54:33.126394
- Title: Pre-trained language models as knowledge bases for Automotive Complaint
Analysis
- Title（参考訳）: 自動車苦情分析のための知識ベースとしての事前学習言語モデル
- Authors: V. D. Viellieber and M. A{\ss}enmacher
- Abstract要約: BERTのようなトレーニング済みの大規模な言語モデルは、トレーニング済みのコーパスでキャプチャされた常識的な事実知識を格納することができる。
これらの結果は,顧客からのフィードバックを構造化分析するための知識基盤として言語モデルを用いる可能性を示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently it has been shown that large pre-trained language models like BERT
(Devlin et al., 2018) are able to store commonsense factual knowledge captured
in its pre-training corpus (Petroni et al., 2019). In our work we further
evaluate this ability with respect to an application from industry creating a
set of probes specifically designed to reveal technical quality issues captured
as described incidents out of unstructured customer feedback in the automotive
industry. After probing the out-of-the-box versions of the pre-trained models
with fill-in-the-mask tasks we dynamically provide it with more knowledge via
continual pre-training on the Office of Defects Investigation (ODI) Complaints
data set. In our experiments the models exhibit performance regarding queries
on domain-specific topics compared to when queried on factual knowledge itself,
as Petroni et al. (2019) have done. For most of the evaluated architectures the
correct token is predicted with a $Precision@1$ ($P@1$) of above 60\%, while
for $P@5$ and $P@10$ even values of well above 80\% and up to 90\% respectively
are reached. These results show the potential of using language models as a
knowledge base for structured analysis of customer feedback.
- Abstract（参考訳）: 最近、bert(devlin et al., 2018)のような大規模な事前学習された言語モデルが、事前学習コーパス(petroni et al., 2019)で取得した常識的事実知識を格納できることが示されている。
本研究は,自動車産業における非構造的顧客からのフィードバックから得られた技術的品質問題を明らかにするための一連の調査を,産業からの応用に関してさらに評価する。
タスクを満載した事前トレーニング済みモデルのアウト・オブ・ザ・ボックス版を探索した後、私たちは、Office of Defects Investigation (ODI) のデータセットで継続事前トレーニングを通じて、動的により多くの知識を提供する。
実験では,ドメイン固有のトピックに関するクエリに関するパフォーマンスを,実際の知識そのものを問う場合と比較した。
(2019年)。
評価されたほとんどのアーキテクチャでは、正しいトークンは60\%以上の$Precision@1$$(P@1$)で予測され、その一方、$P@5$と$P@10$は、それぞれ80\%以上、最大90%の値に達する。
これらの結果は,顧客からのフィードバックを構造化分析するための知識基盤として言語モデルを用いる可能性を示している。
関連論文リスト
- Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。
主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。
得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
論文 参考訳（メタデータ） (2024-01-27T15:20:43Z) - FoodGPT: A Large Language Model in Food Testing Domain with Incremental
Pre-training and Knowledge Graph Prompt [18.7168443402118]
私たちは食品試験のための大きな言語モデルを構築します。
本稿では,段階的な事前学習において構造化知識とスキャンされた文書を取り扱う手法を提案する。
論文 参考訳（メタデータ） (2023-08-20T05:58:33Z) - Investigating Pre-trained Language Models on Cross-Domain Datasets, a
Step Closer to General AI [0.8889304968879164]
本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。
私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
論文 参考訳（メタデータ） (2023-06-21T11:55:17Z) - Domain Adaptation of Transformer-Based Models using Unlabeled Data for
Relevance and Polarity Classification of German Customer Feedback [1.2999413717930817]
この研究は、ドイツの顧客フィードバックデータセットを扱う際に、トランスフォーマーベースのモデルがいかに効率的であるかを調査する。
実験結果から,Transformerベースのモデルでは,fastTextベースラインに比べて大幅な改善が期待できることがわかった。
論文 参考訳（メタデータ） (2022-12-12T08:32:28Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳（メタデータ） (2021-10-14T04:05:25Z) - Domain-matched Pre-training Tasks for Dense Retrieval [68.07140087626637]
モデルサイズがますます大きくなる大規模データセットでの事前トレーニングは、ほぼすべてのNLPタスクのパフォーマンス向上のための実証済みのレシピである。
適切な事前トレーニング設定で、この障壁を克服できることが示されています。
1)最近リリースされた6500万の合成された質問セットと、既存のReddit会話のデータセットから2億のポストコメンデーションペアをトレーニングすることで、これを実証する。
論文 参考訳（メタデータ） (2021-07-28T19:13:00Z) - ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language
Understanding and Generation [25.430130072811075]
大規模知識強化モデルの事前学習のための統合フレームワーク ERNIE 3.0 を提案する。
自動回帰ネットワークと自動エンコードネットワークを融合することで、トレーニングされたモデルを自然言語理解と生成タスクの両方に容易に適合させることができる。
我々は,テキストと大規模知識グラフからなる4TBコーパス上で,100億のパラメータでモデルを訓練した。
論文 参考訳（メタデータ） (2021-07-05T16:54:59Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z) - Learning Better Sentence Representation with Syntax Information [0.0]
構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。
本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
論文 参考訳（メタデータ） (2021-01-09T12:15:08Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳（メタデータ） (2020-10-06T05:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。