論文の概要: Transformer-Based Language Models Across Domain Verticals: Architectures, Applications and Critical Assessment
- arxiv url: http://arxiv.org/abs/2606.24331v1
- Date: Tue, 23 Jun 2026 09:09:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.856506
- Title: Transformer-Based Language Models Across Domain Verticals: Architectures, Applications and Critical Assessment
- Title（参考訳）: 変圧器に基づく言語モデル - アーキテクチャ、応用、批判的評価
- Authors: Guruprakash J, Krithika L. B,
- Abstract要約: トランスフォーマーベースの言語モデルは、自然言語処理のデフォルトの基盤となっている。
メカニズムのレベルでは、主要なトランスフォーマーファミリーを作業分類に編成する。
その後、議論を2023年以降に展開し、実際に状況を変えました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformer-based language models have become the default substrate for natural language processing and the pace of new releases has made it hard for practitioners to separate durable ideas from the noise of incremental announcements. This review works at two levels. At the level of mechanism, we organise the main transformer families into a working taxonomy, covering encoder-only, decoder-only, encoder-decoder, long-context, permutation-based, and generator-discriminator variants. We then extend the discussion to post-2023 developments that changed the picture in practice: instruction tuning, reinforcement learning from human feedback, direct preference optimisation, mixture-of-experts scaling, retrieval augmentation and the current flagship model families from OpenAI, Anthropic, Google, Meta, Mistral and DeepSeek. At the level of use, we survey deployments across healthcare, finance, legal, education, customer service, creative writing and scientific work. Based on this we link each to the specific capabilities that make a transformer the appropriate tool. The contribution of this paper is a critical assessment that is based on the survey. We compare architectures on four axes that matter to deployment decisions, we quantify the trade-off between parameter count and energy cost. We also discuss how alignment methods, data provenance and benchmark saturation change what it means to call a model "state of the art". The final section lists the research questions that we think deserve more attention.
- Abstract（参考訳）: トランスフォーマーベースの言語モデルは、自然言語処理のデフォルトの基盤となり、新しいリリースのペースによって、実践者が耐久性のあるアイデアをインクリメンタルな発表のノイズから切り離すことが難しくなった。
このレビューは2つのレベルで動作します。
メカニズムのレベルでは、主要なトランスフォーマーファミリーを、エンコーダのみ、デコーダのみ、エンコーダのみ、エンコーダ-デコーダ、長いコンテキスト、置換ベース、ジェネレータ-識別器の変種を含む、機能的な分類に編成する。
インストラクションチューニング、ヒューマンフィードバックからの強化学習、直接的な選好最適化、エクスプロイトのスケーリング、検索拡張、OpenAI、Anthropic、Google、Meta、Mistral、DeepSeekの現在のフラッグシップモデルファミリーなどです。
使用レベルでは、医療、金融、法務、教育、カスタマーサービス、クリエイティブな執筆、科学的な仕事にわたるデプロイメントを調査します。
これに基づいて、トランスフォーマーを適切なツールにする特定の機能にそれぞれをリンクします。
本研究の貢献は,本調査に基づく批判的評価である。
デプロイメントの決定に重要な4つの軸上のアーキテクチャを比較し、パラメータカウントとエネルギーコストのトレードオフを定量化する。
また、アライメント手法、データプロファイランス、ベンチマーク飽和がモデルを「最先端」と呼ぶ意味をどう変えるかについても論じる。
最終章では、私たちがもっと注目に値すると考える研究の疑問を列挙している。
関連論文リスト
- Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。
提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。
我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
論文 参考訳（メタデータ） (2026-04-07T12:53:22Z) - Query Expansion in the Age of Pre-trained and Large Language Models: A Comprehensive Survey [21.764997953030857]
現代の情報検索は、多種多様な動的コーパスであいまいなクエリを調整しなければならない。
インジェクションのポイント、接地と相互作用、学習とアライメント、知識グラフの統合の4つの相補的な側面に沿って、最近の作業を組織化します。
この調査では、Web検索、バイオメディシン、eコマース、オープンドメイン質問応答/RAG、会話とコード検索、言語間設定など、7つの側面にわたる従来のQEと神経質なQEを比較した。
論文 参考訳（メタデータ） (2025-09-09T14:31:11Z) - Analysis of the Evolution of Advanced Transformer-Based Language Models:
Experiments on Opinion Mining [0.5735035463793008]
本稿では,最先端のトランスフォーマーに基づく言語モデルの意見マイニングにおける挙動について検討する。
私たちの比較研究は、フォーカスするアプローチに関して、プロダクションエンジニアがリードし、道を開く方法を示しています。
論文 参考訳（メタデータ） (2023-08-07T01:10:50Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (2023-06-11T23:13:51Z) - Evaluating Prompt-based Question Answering for Object Prediction in the
Open Research Knowledge Graph [0.0]
本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。
学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。
i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
論文 参考訳（メタデータ） (2023-05-22T10:35:18Z) - Transformer-Based Visual Segmentation: A Survey [118.01564082499948]
ビジュアルセグメンテーションは、画像、ビデオフレーム、またはポイントクラウドを複数のセグメンテーションまたはグループに分割する。
トランスフォーマー(Transformer)は、自然言語処理用に設計された自己アテンションに基づくニューラルネットワークの一種である。
トランスフォーマーは、様々なセグメンテーションタスクに対して堅牢で統一的で、さらにシンプルなソリューションを提供する。
論文 参考訳（メタデータ） (2023-04-19T17:59:02Z) - Transformadores: Fundamentos teoricos y Aplicaciones [0.14504054468850663]
Transformersは、元々自然言語処理用に開発されたニューラルネットワークアーキテクチャである。
この論文はスペイン語で書かれており、この科学的知識をスペイン語圏のコミュニティでより理解しやすいものにしている。
論文 参考訳（メタデータ） (2023-02-18T13:30:32Z) - A New Generation of Perspective API: Efficient Multilingual
Character-level Transformers [66.9176610388952]
Google JigsawのAspective APIの次期バージョンの基礎を提示する。
このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。
静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
論文 参考訳（メタデータ） (2022-02-22T20:55:31Z) - Transformer Models for Text Coherence Assessment [14.132559978971377]
コヒーレンス(coherence)は、テキストの品質の重要な側面であり、その可読性を保証するために不可欠である。
これまでの研究は、エンティティベースの手法、構文パターン、談話関係、最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。
バニラ変換器,階層変換器,マルチタスク学習モデル,ファクトベース入力表現モデルという4つの異なるトランスフォーマーアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-05T22:27:17Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳（メタデータ） (2020-10-13T15:20:32Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳（メタデータ） (2020-09-22T02:15:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。