論文の概要: Transformadores: Fundamentos teoricos y Aplicaciones

• arxiv url: http://arxiv.org/abs/2302.09327v1
• Date: Sat, 18 Feb 2023 13:30:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 19:13:49.707979
• Title: Transformadores: Fundamentos teoricos y Aplicaciones
• Title（参考訳）: Transformadores:Fundamentos teoricos y Aplicaciones
• Authors: Jordi de la Torre
• Abstract要約: Transformersは、元々自然言語処理用に設計されたニューラルネットワークアーキテクチャである。 その特徴的な特徴は、自分自身のシーケンスへの注意に基づく自己注意システムである。 この論文は、スペイン語圏のコミュニティに科学的知識をもたらすためにスペイン語で書かれている。
• 参考スコア（独自算出の注目度）: 0.40611352512781856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are a neural network architecture originally designed for natural language processing that it is now a mainstream tool for solving a wide variety of problems, including natural language processing, sound, image, reinforcement learning, and other problems with heterogeneous input data. Its distinctive feature is its self-attention system, based on attention to one's own sequence, which derives from the previously introduced attention system. This article provides the reader with the necessary context to understand the most recent research articles and presents the mathematical and algorithmic foundations of the elements that make up this type of network. The different components that make up this architecture and the variations that may exist are also studied, as well as some applications of the transformer models. This article is in Spanish to bring this scientific knowledge to the Spanish-speaking community.
• Abstract（参考訳）: トランスフォーマー(transformers)は、もともと自然言語処理のために設計されたニューラルネットワークアーキテクチャであり、現在では、自然言語処理、音声、画像、強化学習、その他の異種入力データを用いた様々な問題を解決するための主流ツールとなっている。 その特徴的な特徴は、以前に導入された注意システムから派生した自分自身のシーケンスへの注意に基づく自己着脱システムである。 本稿では、最新の研究論文を理解するために必要なコンテキストを読者に提供するとともに、このタイプのネットワークを構成する要素の数学的およびアルゴリズム的基礎について述べる。 このアーキテクチャを構成する異なるコンポーネントと、存在するかもしれないバリエーションも研究され、トランスフォーマーモデルの応用も研究されている。 この論文は、スペイン語圏のコミュニティに科学的知識をもたらすためにスペイン語で書かれている。

関連論文リスト

• Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land [5.540111184767844]
  ニューラルネットワークは、大きな言語モデル、音声書き起こしシステム、分子発見アルゴリズム、ロボット工学など、私たちを取り巻くものです。 このプライマーは、Alice(アリス)氏のような、この奇妙な異なる不思議の国に足を踏み入れた人のために想像された、この魅力的な分野の紹介だ。
  論文  参考訳（メタデータ） (2024-04-26T15:19:58Z)
• A Survey on Large Language Models from Concept to Implementation [4.219910716090213]
  近年のLarge Language Models (LLM) の進歩により、自然言語処理(NLP)アプリケーションの範囲が拡大している。 本稿では,これらのモデルの多面的応用について検討し,GPTシリーズに着目した。 この調査は、コーディングや問題解決といった従来のタスクに革命をもたらす人工知能(AI)駆動ツールの変革的な影響に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-27T19:35:41Z)
• Engineering A Large Language Model From Scratch [0.0]
  AtinukeはTransformerベースのニューラルネットワークで、さまざまな言語タスクのパフォーマンスを最適化する。 特徴を抽出し、複雑なマッピングを学習することで、人間のような言語をエミュレートすることができる。 システムは、解釈可能で堅牢なまま、自然言語タスクの最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-01-30T04:29:48Z)
• Knowledge-Infused Self Attention Transformers [11.008412414253662]
  トランスフォーマーベースの言語モデルは、様々な自然言語処理タスクにおいて驚くべき成功を収めた。 本稿では,トランスモデルの異なるコンポーネントに知識を注入するための体系的手法を提案する。
  論文  参考訳（メタデータ） (2023-06-23T13:55:01Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• BERTuit: Understanding Spanish language in Twitter through a native transformer [70.77033762320572]
  bfBERTuitは、これまでスペイン語のために提案された大きなトランスフォーマーで、2億3000万のスペイン語ツイートの膨大なデータセットで事前トレーニングされている。 私たちのモチベーションは、スペイン語のTwitterをよりよく理解し、このソーシャルネットワークにフォーカスしたアプリケーションに利用するための強力なリソースを提供することです。
  論文  参考訳（メタデータ） (2022-04-07T14:28:51Z)
• On the validity of pre-trained transformers for natural language processing in the software engineering domain [78.32146765053318]
  ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。 ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T08:46:31Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Multi-channel Transformers for Multi-articulatory Sign Language Translation [59.38247587308604]
  本稿では,多調な手話翻訳課題に取り組み,新しいマルチチャネルトランスフォーマアーキテクチャを提案する。 提案アーキテクチャにより、異なる手話調節間の文脈内関係をトランスフォーマネットワーク内でモデル化することができる。
  論文  参考訳（メタデータ） (2020-09-01T09:10:55Z)
• Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation [2.2344764434954256]
  本研究では,現在最先端のニューラルマシン翻訳アーキテクチャであるTransformerを提案する。 特に,提案するFactered Transformerは,機械翻訳システムに付加的な知識を挿入する言語的要因を用いている。 IWSLTドイツ語-英語タスクにおけるベースライン変換器の0.8BLEUの改善を示す。
  論文  参考訳（メタデータ） (2020-04-17T03:40:13Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。