論文の概要: Transformers, Contextualism, and Polysemy

• arxiv url: http://arxiv.org/abs/2404.09577v1
• Date: Mon, 15 Apr 2024 08:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 13:00:01.985007
• Title: Transformers, Contextualism, and Polysemy
• Title（参考訳）: トランスフォーマー, コンテクスト, ポリセミー
• Authors: Jumbly Grindrod,
• Abstract要約: 私は、トランスフォーマーアーキテクチャがコンテキストと意味の関係の絵を描く方法から抽出したものだと論じます。 私はこれをトランスフォーマー・ピクチャー(transformer picture)と呼び、関連する2つの哲学的議論に関する小説であると論じます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The transformer architecture, introduced by Vaswani et al. (2017), is at the heart of the remarkable recent progress in the development of language models, including famous chatbots such as Chat-gpt and Bard. In this paper, I argue that we an extract from the way the transformer architecture works a picture of the relationship between context and meaning. I call this the transformer picture, and I argue that it is a novel with regard to two related philosophical debates: the contextualism debate regarding the extent of context-sensitivity across natural language, and the polysemy debate regarding how polysemy should be captured within an account of word meaning. Although much of the paper merely tries to position the transformer picture with respect to these two debates, I will also begin to make the case for the transformer picture.
• Abstract（参考訳）: Vaswani et al (2017)によって導入されたトランスフォーマーアーキテクチャは、Chat-gptやBardといった有名なチャットボットを含む、言語モデルの開発における、最近の顕著な進歩の中心である。 本稿では,トランスフォーマーアーキテクチャがコンテキストと意味の関係を図解する際の抽出法について論じる。 私はこれをトランスフォーマー・ピクチャー(transformer picture)と呼んでいるが、これは2つの関連する哲学的議論に関する小説である: 自然言語における文脈感受性の程度に関する文脈主義的議論と、言葉の意味の観点からポリセミーがどのように捉えるべきかという多節論である。 論文の多くは、この2つの議論に関してトランスフォーマーの絵を配置しようと試みているが、私はまたトランスフォーマーの絵についても論じる。

関連論文リスト

• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
  Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
  論文  参考訳（メタデータ） (2024-08-08T17:49:07Z)
• Why transformers are obviously good models of language [19.214362677861025]
  トランスフォーマーは、代替手段よりも成功して言語を自動的に処理するニューラルネットワークである。 トランスフォーマーアーキテクチャと言語に関するある種の理論的視点との直接的な関係を強調します。
  論文  参考訳（メタデータ） (2024-08-07T15:52:46Z)
• The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers [0.0]
  トランスフォーマーニューラルネットワークアーキテクチャは、自動回帰シーケンス・ツー・シーケンスモデリングを可能にする。 トランスフォーマーは様々なパターン認識タスク、特にコンピュータビジョンにも応用されている。
  論文  参考訳（メタデータ） (2024-06-24T16:45:28Z)
• A Transformer with Stack Attention [84.18399019794036]
  本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。 我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。 スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
  論文  参考訳（メタデータ） (2024-05-07T17:47:57Z)
• Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
  この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
  論文  参考訳（メタデータ） (2024-02-23T18:12:53Z)
• Introduction to Transformers: an NLP Perspective [59.0241868728732]
  本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。 これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
  論文  参考訳（メタデータ） (2023-11-29T13:51:04Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Think Before You Act: Unified Policy for Interleaving Language Reasoning with Actions [21.72567982148215]
  オフラインデータ上で、同様の次のステップ予測目標でトランスフォーマーをトレーニングする方法を示す。 本稿では,言語推論とアクションを一つのポリシーで統一する新しい手法を提案する。 具体的には、単語出力によるトランスフォーマーポリシーを強化し、アクションにインターリーブされたテキストキャプションを生成する。
  論文  参考訳（メタデータ） (2023-04-18T16:12:38Z)
• Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
  我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。 可視化により,変換因子によって得られた階層的意味構造を実演する。 この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
  論文  参考訳（メタデータ） (2021-03-29T20:51:33Z)
• What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
  オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。 音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。 ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
  論文  参考訳（メタデータ） (2021-01-02T06:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。