Fugu-MT 論文翻訳(概要): TourBERT: A pretrained language model for the tourism industry

論文の概要: TourBERT: A pretrained language model for the tourism industry

arxiv url: http://arxiv.org/abs/2201.07449v1
Date: Wed, 19 Jan 2022 07:24:30 GMT
ステータス: 処理完了
システム内更新日: 2022-01-20 20:40:46.313520
Title: TourBERT: A pretrained language model for the tourism industry
Title（参考訳）: TourBERT:観光産業のための事前訓練型言語モデル
Authors: Veronika Arefieva and Roman Egger
Abstract要約: 変換器による双方向表現(BERT)は現在、自然言語の最も重要かつ最先端のモデルの一つである。本稿では,観光のための事前学習型言語モデルであるTourBERTを紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Bidirectional Encoder Representations from Transformers (BERT) is currently one of the most important and state-of-the-art models for natural language. However, it has also been shown that for domain-specific tasks it is helpful to pretrain BERT on a domain-specific corpus. In this paper, we present TourBERT, a pretrained language model for tourism. We describe how TourBERT was developed and evaluated. The evaluations show that TourBERT is outperforming BERT in all tourism-specific tasks.
Abstract（参考訳）: Bidirectional Encoder Representations from Transformers (BERT) は現在、自然言語の最も重要かつ最先端のモデルの一つである。しかし、ドメイン固有のタスクでは、BERTをドメイン固有のコーパスで事前訓練するのに役立つことが示されている。本稿では,観光のための事前学習型言語モデルであるTourBERTを紹介する。 TourBERTの開発と評価について述べる。評価の結果, TourBERT は観光特化タスクにおいて BERT を上回っていることがわかった。

関連論文リスト

TourLLM: Enhancing LLMs with Tourism Knowledge [3.034710104407876]
我々はカルトゥールという文化・観光分野のための教師付き微調整データセットを構築した。このデータセットは、観光知識ベースQAデータ、旅行情報データ、観光多様性QAデータという3つの部分から構成される。カートゥールで微調整されたQwenベースのモデルであるTourLLMを提案し,アトラクションや旅行計画に関する情報の質を向上させる。
論文参考訳（メタデータ） (2024-06-18T09:15:46Z)
Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining Approaches for Limited Data Scenarios [0.0]
General Turk BERT model (BERTurk) と TurkRadBERT-task v1 は、どちらも実質的な汎用ドメインコーパスからの知識を活用し、全体的なパフォーマンスを最もよく示している。本研究は,モデル性能向上のための事前学習におけるドメイン固有語彙の重要性を裏付けるものである。
論文参考訳（メタデータ） (2023-05-05T18:39:07Z)
BERTino: an Italian DistilBERT model [0.0]
本稿では, DistilBERT モデルである BERTino について紹介する。我々は, BERTBASE に匹敵する F1 スコアを, 学習速度と推論速度を著しく向上させ, ISDT, イタリアンParTUT, イタリアンWikiNER, およびマルチクラス分類タスクで BERTino を評価した。
論文参考訳（メタデータ） (2023-03-31T15:07:40Z)
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference [50.59811343945605]
そこで我々はNarrowBERTを提案する。NarrowBERTは改良されたトランスフォーマーエンコーダで、マスク付き言語モデルのプリトレーニングのスループットを2ドル以上の値で向上させる。 NarrowBERTは、自己アテンションクエリとフィードフォワード層が事前トレーニング中に各文のマスク付きトークンでのみ動作するように、トランスフォーマーモデルをスペーサー化する。 NarrowBERTは、MNLIのような文符号化タスクにおいて、最小(またはノー)のパフォーマンス劣化を伴って、$3.5times$で推論時にスループットを向上することを示す。
論文参考訳（メタデータ） (2023-01-11T23:45:50Z)
Embodied BERT: A Transformer Model for Embodied, Language-guided Visual Task Completion [69.04196388421649]
Embodied BERT (EmBERT) は,言語条件のタスク完了のために,長時間の時間的水平線を横断する高次元マルチモーダル入力に対応可能なトランスフォーマーモデルである。我々はALFREDベンチマークで競合性能を達成し、EmBERTはALFREDの長い水平高密度マルチモーダルヒストリーをうまく扱える最初のトランスフォーマーベースモデルである。
論文参考訳（メタデータ） (2021-08-10T21:24:05Z)
VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。 VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
論文参考訳（メタデータ） (2020-11-09T15:37:43Z)
It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文参考訳（メタデータ） (2020-10-16T09:49:32Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
lamBERT: Language and Action Learning Using Multimodal BERT [0.1942428068361014]
本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
論文参考訳（メタデータ） (2020-04-15T13:54:55Z)
What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
本稿では,言語固有のBERTモデルにおける技術の現状について述べる。本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
論文参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。