論文の概要: Detecting Spells in Fantasy Literature with a Transformer Based
Artificial Intelligence
- arxiv url: http://arxiv.org/abs/2308.03660v1
- Date: Mon, 7 Aug 2023 15:20:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 13:02:41.153120
- Title: Detecting Spells in Fantasy Literature with a Transformer Based
Artificial Intelligence
- Title(参考訳): トランスフォーマーを用いた人工知能によるファンタジー文学のスペル検出
- Authors: Marcel Moravek, Alexander Zender, Andreas M\"uller
- Abstract要約: 小説『ハリー・ポッター』シリーズにおける呪文の文脈に基づく認識にBERTを用いている。
事前トレーニングされたBERTモデルを使用して、検索されたコンテキストを識別するために、異なるデータセットとトレーニング方法を微調整した。
- 参考スコア(独自算出の注目度): 69.85273194899884
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformer architectures and models have made significant progress in
language-based tasks. In this area, is BERT one of the most widely used and
freely available transformer architecture. In our work, we use BERT for
context-based phrase recognition of magic spells in the Harry Potter novel
series. Spells are a common part of active magic in fantasy novels. Typically,
spells are used in a specific context to achieve a supernatural effect. A
series of investigations were conducted to see if a Transformer architecture
could recognize such phrases based on their context in the Harry Potter saga.
For our studies a pre-trained BERT model was used and fine-tuned utilising
different datasets and training methods to identify the searched context. By
considering different approaches for sequence classification as well as token
classification, it is shown that the context of spells can be recognised.
According to our investigations, the examined sequence length for fine-tuning
and validation of the model plays a significant role in context recognition.
Based on this, we have investigated whether spells have overarching properties
that allow a transfer of the neural network models to other fantasy universes
as well. The application of our model showed promising results and is worth to
be deepened in subsequent studies.
- Abstract(参考訳): トランスフォーマーアーキテクチャとモデルは言語ベースのタスクにおいて大きな進歩を遂げた。
この領域では、BERTは最も広く使われ、自由に利用できるトランスフォーマーアーキテクチャの1つである。
本研究では,ハリー・ポッター小説シリーズにおける呪文の文脈的認識にBERTを用いた。
呪文はファンタジー小説における能動魔法の共通部分である。
通常、呪文は超自然的な効果を達成するために特定の文脈で使われる。
ハリー・ポッター・サガ(Harry Potter saga)の文脈に基づいてトランスフォーマーアーキテクチャーがそのようなフレーズを認識できるかどうか、一連の調査が行われた。
本研究では,事前学習したBERTモデルを用いて,検索したコンテキストを識別するための異なるデータセットとトレーニング手法を用いた微調整を行った。
シーケンス分類とトークン分類の異なるアプローチを考えることにより、綴りの文脈を認識できることが示されている。
本研究は,モデルの微調整および検証のためのシーケンス長が文脈認識において重要な役割を担っていることを示す。
これに基づいて,ニューラルネットワークモデルの他のファンタジー宇宙への移動を可能にする呪文がオーバーアーキシング特性を持つかどうかについて検討した。
このモデルの適用は有望な結果を示し,今後の研究でさらに深めるべきである。
関連論文リスト
- Context Disentangling and Prototype Inheriting for Robust Visual
Grounding [56.63007386345772]
ビジュアルグラウンドディング(VG)は、与えられた言語クエリに基づいて、画像内の特定のターゲットを特定することを目的としている。
本稿では,両シーンを両シーンで処理する堅牢な視覚的グラウンド化のために,コンテキストの切り離しとプロトタイプを継承する新しいフレームワークを提案する。
本手法は両シナリオにおいて最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2023-12-19T09:03:53Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳(メタデータ) (2023-06-11T23:13:51Z) - Improving Attention-Based Interpretability of Text Classification
Transformers [7.027858121801477]
テキスト分類における変圧器の注意に基づく解釈可能性手法の有効性について検討する。
適切な設定で、最新技術に匹敵する結果が得られるようなタスクに注意を向けることが示される。
論文 参考訳(メタデータ) (2022-09-22T09:19:22Z) - Disentangled Action Recognition with Knowledge Bases [77.77482846456478]
本研究では,新規な動詞や新規な名詞に対する合成行動認識モデルの一般化能力の向上を目指す。
従来の作業では、知識グラフ内の動詞-名詞合成アクションノードを使用しており、スケールを非効率にしている。
本提案手法は, 行動の固有な構成性を活用する, 知識ベースを用いた不整合行動認識(DARK)である。
論文 参考訳(メタデータ) (2022-07-04T20:19:13Z) - Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。
特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
論文 参考訳(メタデータ) (2022-06-19T07:28:54Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳(メタデータ) (2022-05-23T16:47:37Z) - Are Neural Language Models Good Plagiarists? A Benchmark for Neural
Paraphrase Detection [5.847824494580938]
トランスフォーマーアーキテクチャに基づく最近の言語モデルを用いたパラフレーズ記事からなるベンチマークを提案する。
我々の貢献は、パラフレーズ検出システムに関する将来的な研究を後押しし、大量の原文およびパラフレーズ文書のコレクションを提供する。
論文 参考訳(メタデータ) (2021-03-23T11:01:35Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳(メタデータ) (2020-10-13T15:20:32Z) - Pay Attention to What You Read: Non-recurrent Handwritten Text-Line
Recognition [4.301658883577544]
変換器モデルを用いて手書きテキストを認識する非反復的手法を提案する。
我々は文字認識に取り組み、復号化すべき文字列の言語関連依存関係を学習することができる。
論文 参考訳(メタデータ) (2020-05-26T21:15:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。