論文の概要: Tele-Knowledge Pre-training for Fault Analysis

• arxiv url: http://arxiv.org/abs/2210.11298v1
• Date: Thu, 20 Oct 2022 14:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 14:52:53.446454
• Title: Tele-Knowledge Pre-training for Fault Analysis
• Title（参考訳）: 故障解析のためのテレ知識事前学習
• Authors: Zhuo Chen, Wen Zhang, Yufeng Huang, Mingyang Chen, Yuxia Geng, Hongtao Yu, Zhen Bi, Yichi Zhang, Zhen Yao, Wenting Song, Xinliang Wu, Yi Yang, Song Jiang, Zhaoyang Lian, Yingying Li, Huajun Chen
• Abstract要約: 遠隔ドメイン事前学習モデルKTeleBERTとその知識強化バージョンKTeleBERTを提案する。 我々は、2000万の通信コーパスでTeleBERTを事前訓練し、100万の因果コーパスと機械コーパスでTeleBERTを再訓練し、KTeleBERTを入手する。 その結果、KTeleBERTではタスクモデルの性能が向上し、事前学習したKTeleBERTの有効性が示された。
• 参考スコア（独自算出の注目度）: 46.687596081935105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we share our experience on tele-knowledge pre-training for fault analysis. Fault analysis is a vital task for tele-application, which should be timely and properly handled. Fault analysis is also a complex task, that has many sub-tasks. Solving each task requires diverse tele-knowledge. Machine log data and product documents contain part of the tele-knowledge. We create a Tele-KG to organize other tele-knowledge from experts uniformly. With these valuable tele-knowledge data, in this work, we propose a tele-domain pre-training model KTeleBERT and its knowledge-enhanced version KTeleBERT, which includes effective prompt hints, adaptive numerical data encoding, and two knowledge injection paradigms. We train our model in two stages: pre-training TeleBERT on 20 million telecommunication corpora and re-training TeleBERT on 1 million causal and machine corpora to get the KTeleBERT. Then, we apply our models for three tasks of fault analysis, including root-cause analysis, event association prediction, and fault chain tracing. The results show that with KTeleBERT, the performance of task models has been boosted, demonstrating the effectiveness of pre-trained KTeleBERT as a model containing diverse tele-knowledge.
• Abstract（参考訳）: 本研究では,障害解析のための遠隔知識事前学習の経験を共有する。 障害解析はテレアプリケーションにとって重要なタスクであり、タイムリーに適切に処理する必要がある。 障害解析も複雑なタスクであり、多くのサブタスクがある。 各タスクの解決には多様なテレ知識が必要です。 マシンログデータと製品ドキュメントは、テレ知識の一部を含んでいる。 我々は、専門家から他のテレ知識を均一に組織するためのテレKGを作成します。 これらの貴重な遠隔知識データを用いて、本研究では、効果的なプロンプトヒント、適応数値データ符号化、および2つの知識注入パラダイムを含む、遠隔ドメイン事前学習モデルKTeleBERTとその知識強化バージョンKTeleBERTを提案する。 我々は、2000万の通信コーパスでTeleBERTを事前訓練し、100万の因果コーパスと機械コーパスでTeleBERTを再訓練し、KTeleBERTを入手する。 そこで本研究では,根本原因分析,事象関連予測,故障連鎖追跡の3つの課題について,本モデルを適用した。 その結果、KTeleBERTではタスクモデルの性能が向上し、多様なテレ知識を含むモデルとしての事前学習KTeleBERTの有効性が示された。

関連論文リスト

• Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications [20.36003316123051]
  我々は,通信に適した1Bパラメータから8Bパラメータまで,最初の言語モデルであるTele-LLMsを開発し,オープンソース化した。 評価の結果,これらのモデルはTele-Evalの汎用モデルよりも優れており,これまでに獲得した能力を維持していることがわかった。
  論文  参考訳（メタデータ） (2024-09-09T03:58:51Z)
• Beyond Uncertainty: Evidential Deep Learning for Robust Video Temporal Grounding [49.973156959947346]
  既存のビデオ時間グラウンド(VTG)モデルは精度は優れているが、オープン語彙クエリや未トリミングビデオによって引き起こされるオープンワールドの課題を見落としていることが多い。 2段階のクロスモーダルアライメントタスクの恩恵を受ける頑健なネットワークモジュールを導入する。 Deep Evidential Regression (DER)を統合して、トレーニング中の不確実性を明確かつ徹底的に定量化する。 これに対し,我々は,不確実性学習フレームワークをゼロから強化する簡易かつ効果的なGeom-regularizerを開発した。
  論文  参考訳（メタデータ） (2024-08-29T05:32:03Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• XPhoneBERT: A Pre-trained Multilingual Model for Phoneme Representations for Text-to-Speech [15.254598796939922]
  下流音声(TTS)タスクの音素表現を学習するために事前訓練された最初の多言語モデルXPhoneBERTを提案する。 私たちの XPhoneBERT は BERT-base と同じモデルアーキテクチャを持ち,約100言語および局所言語から330万音素レベルの文に対して,RoBERTa の事前学習アプローチを用いてトレーニングを行った。
  論文  参考訳（メタデータ） (2023-05-31T10:05:33Z)
• A Bayesian Framework for Digital Twin-Based Control, Monitoring, and Data Collection in Wireless Systems [35.59201763567714]
  デジタルツイン(DT)プラットフォームは、ソフトウェアベースのオープンな通信システムを制御、監視、分析するための有望なパラダイムと見なされている。 DTシステムのデプロイにおける重要な課題は、DTにおける仮想制御の最適化、監視、分析が安全で信頼性の高いものであることを保証することである。 本稿では,DTにおけるモデル不確実性の定量化と解析を目的とした一般ベイズフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-02T18:13:48Z)
• VLC-BERT: Visual Question Answering with Contextualized Commonsense Knowledge [48.457788853408616]
  本稿では,視覚的・テキスト的手がかりとともに,外部の常識知識を生成,選択,符号化する手法を提案する。 VLC-BERTは静的知識ベースを利用した既存モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T22:01:17Z)
• A Unified Continuous Learning Framework for Multi-modal Knowledge Discovery and Pre-training [73.7507857547549]
  本稿では,継続的学習フレームワークにおける知識発見とマルチモーダル事前学習の統合を提案する。 知識発見のために、事前訓練されたモデルを用いてグラフ上のクロスモーダルリンクを識別する。 モデル事前トレーニングでは、モデル更新をガイドする外部知識として知識グラフが使用される。
  論文  参考訳（メタデータ） (2022-06-11T16:05:06Z)
• Interpretable Summaries of Black Box Incident Triaging with Subgroup Discovery [2.1874189959020423]
  我々は過去7年間に当社に報告された170万件のインシデントに基づく効率的なブラックボックスモデルを提案する。 XAIの最近の発展は、モデルに対するグローバルな説明を提供するのに役立ちます。 我々は,OCEの採用を効果的に進めるための予備的な結果を提示する。
  論文  参考訳（メタデータ） (2021-08-06T09:10:48Z)
• VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
  VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。 VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
  論文  参考訳（メタデータ） (2020-11-09T15:37:43Z)
• Users Perceptions about Teleconferencing Applications Collected through Twitter [0.0]
  新型コロナウイルス(COVID-19)の感染拡大で、さまざまな組織や従業員、学生が混乱し、隔離期間中もテレカンファレンスのアプリケーションを連携し、社交化するよう指示した。 テレカンファレンスアプリケーションのいくつかは、セキュリティ、プライバシ、メディア品質、信頼性、キャパシティ、技術的困難など、いくつかの問題に悩まされている。
  論文  参考訳（メタデータ） (2020-10-16T06:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。