論文の概要: Deep Transfer Learning & Beyond: Transformer Language Models in
Information Systems Research
- arxiv url: http://arxiv.org/abs/2110.08975v1
- Date: Mon, 18 Oct 2021 02:01:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 14:07:23.908799
- Title: Deep Transfer Learning & Beyond: Transformer Language Models in
Information Systems Research
- Title(参考訳): deep transfer learning & beyond - 情報システム研究におけるトランスフォーマー言語モデル
- Authors: Ross Gruetzemacher, David Paradice
- Abstract要約: トランスフォーマー言語モデル(TLM)を含む自然言語処理の最近の進歩は、AI駆動型ビジネスと社会変革の潜在的な道を提供する。
本稿は、IS研究がこれらの新技術にどのような恩恵をもたらすかを概観する上で、最近の研究動向と、上位IS誌のテキストマイニングを活用した最近の文献を概観する。
- 参考スコア(独自算出の注目度): 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI is widely thought to be poised to transform business, yet current
perceptions of the scope of this transformation may be myopic. Recent progress
in natural language processing involving transformer language models (TLMs)
offers a potential avenue for AI-driven business and societal transformation
that is beyond the scope of what most currently foresee. We review this recent
progress as well as recent literature utilizing text mining in top IS journals
to develop an outline for how future IS research can benefit from these new
techniques. Our review of existing IS literature reveals that suboptimal text
mining techniques are prevalent and that the more advanced TLMs could be
applied to enhance and increase IS research involving text data, and to enable
new IS research topics, thus creating more value for the research community.
This is possible because these techniques make it easier to develop very
powerful custom systems and their performance is superior to existing methods
for a wide range of tasks and applications. Further, multilingual language
models make possible higher quality text analytics for research in multiple
languages. We also identify new avenues for IS research, like language user
interfaces, that may offer even greater potential for future IS research.
- Abstract(参考訳): AIはビジネスを変革するための手段として広く考えられているが、この変革のスコープに対する現在の認識はミオピックかもしれない。
トランスフォーマー言語モデル(tlms)を含む自然言語処理の最近の進歩は、ai駆動のビジネスと社会的なトランスフォーメーションの潜在的な道のりを示しており、現在の予測範囲を超えている。
本稿では,この最近の進歩とテキストマイニングを活用した最近の文献について概説し,これらの新しい手法から研究がどのような効果を得られるのかを概説する。
既存のis文献のレビューから,サブオプティカルテキストマイニング技術が普及しており,さらに高度なtlmがテキストデータに関する研究に応用され,新たなis研究トピックが実現され,研究コミュニティにさらなる価値がもたらされることが明らかとなった。
これらの技術は、非常に強力なカスタムシステムの開発を容易にし、その性能が幅広いタスクやアプリケーションのために既存の方法よりも優れているため、これは可能である。
さらに、多言語言語モデルは、複数の言語の研究のために高品質なテキスト分析を可能にする。
また、言語ユーザインタフェースのような、将来の研究にさらに大きな可能性をもたらす、is研究の新たな道筋も特定しています。
関連論文リスト
- Large Language Models for Generative Information Extraction: A Survey [93.28676955662002]
情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。
生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。
LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
論文 参考訳(メタデータ) (2023-12-29T14:25:22Z) - Large Language Models Meet Computer Vision: A Brief Survey [0.0]
大規模言語モデル(LLM)とコンピュータビジョン(CV)は研究の重要な領域として現れ、人工知能(AI)分野において大きな進歩を遂げている。
この調査論文は、視覚変換器(ViT)とLLMに革命をもたらす可能性を強調しながら、トランスフォーマーの領域における最新の進歩を論じている。
調査は、この分野のオープンな方向性を強調し、将来の研究開発の場を示唆することで締めくくられる。
論文 参考訳(メタデータ) (2023-11-28T10:39:19Z) - Combatting Human Trafficking in the Cyberspace: A Natural Language
Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。
我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。
重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
論文 参考訳(メタデータ) (2023-11-22T02:45:01Z) - A Survey on Semantic Processing Techniques [38.32578417623237]
意味論の研究は言語学において多次元である。
計算意味処理の研究の深さと幅は、新しい技術で大きく改善できる。
論文 参考訳(メタデータ) (2023-10-22T15:09:51Z) - Chit-Chat or Deep Talk: Prompt Engineering for Process Mining [0.0]
本研究では,Large Language Models (LLMs) のプロセスマイニングにおける会話エージェント強化への応用について検討する。
本稿では,対話型エージェントを対象とした自然言語処理(NLP)の先行研究により,既存のソリューションにおける多くの問題を解決する革新的なアプローチを提案する。
我々のフレームワークは、公開質問やデータセットで実証されたように、アクセシビリティとエージェントのパフォーマンスの両方を改善します。
論文 参考訳(メタデータ) (2023-07-19T11:25:12Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳(メタデータ) (2023-06-11T23:13:51Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey [8.427521246916463]
事前学習型言語モデル(PLM)は,大規模テキストコーパス上で情報表現を学習することで,新たなパラダイムを確立した。
この新しいパラダイムは、自然言語処理の分野全体に革命をもたらし、さまざまなNLPタスクに対して、新しい最先端のパフォーマンスを設定した。
この問題に対処するため, PLM への知識統合は近年, 非常に活発な研究領域となり, 様々なアプローチが開発されている。
論文 参考訳(メタデータ) (2021-10-16T03:27:56Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳(メタデータ) (2020-10-13T15:20:32Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳(メタデータ) (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。