論文の概要: Transformers, Contextualism, and Polysemy
- arxiv url: http://arxiv.org/abs/2404.09577v1
- Date: Mon, 15 Apr 2024 08:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 13:00:01.985007
- Title: Transformers, Contextualism, and Polysemy
- Title(参考訳): トランスフォーマー, コンテクスト, ポリセミー
- Authors: Jumbly Grindrod,
- Abstract要約: 私は、トランスフォーマーアーキテクチャがコンテキストと意味の関係の絵を描く方法から抽出したものだと論じます。
私はこれをトランスフォーマー・ピクチャー(transformer picture)と呼び、関連する2つの哲学的議論に関する小説であると論じます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The transformer architecture, introduced by Vaswani et al. (2017), is at the heart of the remarkable recent progress in the development of language models, including famous chatbots such as Chat-gpt and Bard. In this paper, I argue that we an extract from the way the transformer architecture works a picture of the relationship between context and meaning. I call this the transformer picture, and I argue that it is a novel with regard to two related philosophical debates: the contextualism debate regarding the extent of context-sensitivity across natural language, and the polysemy debate regarding how polysemy should be captured within an account of word meaning. Although much of the paper merely tries to position the transformer picture with respect to these two debates, I will also begin to make the case for the transformer picture.
- Abstract(参考訳): Vaswani et al (2017)によって導入されたトランスフォーマーアーキテクチャは、Chat-gptやBardといった有名なチャットボットを含む、言語モデルの開発における、最近の顕著な進歩の中心である。
本稿では,トランスフォーマーアーキテクチャがコンテキストと意味の関係を図解する際の抽出法について論じる。
私はこれをトランスフォーマー・ピクチャー(transformer picture)と呼んでいるが、これは2つの関連する哲学的議論に関する小説である: 自然言語における文脈感受性の程度に関する文脈主義的議論と、言葉の意味の観点からポリセミーがどのように捉えるべきかという多節論である。
論文の多くは、この2つの議論に関してトランスフォーマーの絵を配置しようと試みているが、私はまたトランスフォーマーの絵についても論じる。
関連論文リスト
- Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。
これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文 参考訳(メタデータ) (2023-11-29T13:51:04Z) - An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。
本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文 参考訳(メタデータ) (2023-04-20T14:54:19Z) - Think Before You Act: Unified Policy for Interleaving Language Reasoning
with Actions [21.72567982148215]
オフラインデータ上で、同様の次のステップ予測目標でトランスフォーマーをトレーニングする方法を示す。
本稿では,言語推論とアクションを一つのポリシーで統一する新しい手法を提案する。
具体的には、単語出力によるトランスフォーマーポリシーを強化し、アクションにインターリーブされたテキストキャプションを生成する。
論文 参考訳(メタデータ) (2023-04-18T16:12:38Z) - Dual-path Adaptation from Image to Video Transformers [62.056751480114784]
ViTやSwinのような視覚基盤モデルの超越する表現力を、トレーニング可能なパラメータ数だけでビデオ理解するために効率的に転送する。
本稿では,空間的および時間的適応経路に分離した新しいDualPath適応法を提案する。
論文 参考訳(メタデータ) (2023-03-17T09:37:07Z) - Transforming medical imaging with Transformers? A comparative review of
key properties, current progresses, and future perspectives [21.164122592628388]
ディープラーニングの最新技術進歩であるTransformerは、自然言語処理やコンピュータビジョンで普及している。
我々は、医療画像に対する最先端のTransformerベースのアプローチを包括的にレビューする。
論文 参考訳(メタデータ) (2022-06-02T16:38:31Z) - Going deeper with Image Transformers [102.61950708108022]
我々は画像分類のためのより深いトランスフォーマーネットワークを構築し最適化する。
深部変圧器の精度を大幅に向上する2つの変圧器アーキテクチャ変更を行う。
私たちの最高のモデルは、再評価ラベルとImagenet-V2 /マッチ周波数を備えたImagenetの新しい状態を確立します。
論文 参考訳(メタデータ) (2021-03-31T17:37:32Z) - Transformer visualization via dictionary learning: contextualized
embedding as a linear superposition of transformer factors [15.348047288817478]
我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。
可視化により,変換因子によって得られた階層的意味構造を実演する。
この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
論文 参考訳(メタデータ) (2021-03-29T20:51:33Z) - TransCenter: Transformers with Dense Queries for Multiple-Object
Tracking [87.75122600164167]
私たちは、標準表現(バウンディングボックス)は、マルチオブジェクトトラッキングのためのトランスフォーマー学習に適応していないと主張している。
複数のターゲットの中心を追跡するトランスフォーマーベースのアーキテクチャであるTransCenterを提案する。
論文 参考訳(メタデータ) (2021-03-28T14:49:36Z) - What all do audio transformer models hear? Probing Acoustic
Representations for Language Delivery and its Structure [64.54208910952651]
オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。
音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。
ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
論文 参考訳(メタデータ) (2021-01-02T06:29:12Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳(メタデータ) (2020-12-23T09:37:54Z) - Image Captioning through Image Transformer [29.91581534937757]
変形符号化変換器と暗黙復号変換器からなるtextbftextitimage transformer を導入する。
本モデルでは,MSCOCOのオフラインおよびオンラインテストベンチマークにおいて,最新の性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:30:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。