Fugu-MT 論文翻訳(概要): Transformers, Contextualism, and Polysemy

論文の概要: Transformers, Contextualism, and Polysemy

arxiv url: http://arxiv.org/abs/2404.09577v2
Date: Thu, 26 Sep 2024 14:34:53 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 03:14:33.990734
Title: Transformers, Contextualism, and Polysemy
Title（参考訳）: トランスフォーマー, コンテクスト, ポリセミー
Authors: Jumbly Grindrod,
Abstract要約: 私は、トランスフォーマーアーキテクチャがコンテキストと意味の関係の理論を機能させる方法から抽出できると論じます。私はこれをトランスフォーマー理論と呼び、関連する2つの哲学的議論に関して新しいものであると論じます。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The transformer architecture, introduced by Vaswani et al. (2017), is at the heart of the remarkable recent progress in the development of language models, including widely-used chatbots such as Chat-GPT and Claude. In this paper, I argue that we can extract from the way the transformer architecture works a theory of the relationship between context and meaning. I call this the transformer theory, and I argue that it is novel with regard to two related philosophical debates: the contextualism debate regarding the extent of context-sensitivity across natural language, and the polysemy debate regarding how polysemy should be captured within an account of word meaning.
Abstract（参考訳）: Vaswani et al (2017)によって導入されたトランスフォーマーアーキテクチャは、Chat-GPTやClaudeといった広く使われているチャットボットを含む、言語モデルの開発における、最近の顕著な進歩の中心である。本稿では,トランスフォーマーアーキテクチャがコンテキストと意味の関係の理論として機能する方法から抽出できることを論じる。私はこれをトランスフォーマー理論と呼び、自然言語における文脈感受性の程度に関する文脈主義の議論と、言葉の意味の観点からポリセミーがどのように捉えるべきかという多節論という2つの関連する哲学的議論に関して、新しいものであると論じる。

関連論文リスト

Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文参考訳（メタデータ） (2024-10-03T21:21:02Z)
Transformer Explainer: Interactive Learning of Text-Generative Models [65.91049787390692]
Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
論文参考訳（メタデータ） (2024-08-08T17:49:07Z)
Why transformers are obviously good models of language [19.214362677861025]
トランスフォーマーは、代替手段よりも成功して言語を自動的に処理するニューラルネットワークである。トランスフォーマーアーキテクチャと言語に関するある種の理論的視点との直接的な関係を強調します。
論文参考訳（メタデータ） (2024-08-07T15:52:46Z)
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers [0.0]
トランスフォーマーニューラルネットワークアーキテクチャは、自動回帰シーケンス・ツー・シーケンスモデリングを可能にする。トランスフォーマーは様々なパターン認識タスク、特にコンピュータビジョンにも応用されている。
論文参考訳（メタデータ） (2024-06-24T16:45:28Z)
A Transformer with Stack Attention [84.18399019794036]
本稿では,変圧器をベースとした言語モデルの拡張手法を提案する。我々のスタックベースのアテンションメカニズムは、トランスフォーマーベースの言語モデルに組み込むことができ、モデルに解釈可能性のレベルを追加することができる。スタックベースのアテンション機構の追加により、トランスフォーマーは、決定論的文脈自由言語をモデル化できるが、全てではない。
論文参考訳（メタデータ） (2024-05-07T17:47:57Z)
Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
論文参考訳（メタデータ） (2024-02-23T18:12:53Z)
Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文参考訳（メタデータ） (2023-11-29T13:51:04Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
Think Before You Act: Unified Policy for Interleaving Language Reasoning with Actions [21.72567982148215]
オフラインデータ上で、同様の次のステップ予測目標でトランスフォーマーをトレーニングする方法を示す。本稿では,言語推論とアクションを一つのポリシーで統一する新しい手法を提案する。具体的には、単語出力によるトランスフォーマーポリシーを強化し、アクションにインターリーブされたテキストキャプションを生成する。
論文参考訳（メタデータ） (2023-04-18T16:12:38Z)
Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。可視化により,変換因子によって得られた階層的意味構造を実演する。この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
論文参考訳（メタデータ） (2021-03-29T20:51:33Z)
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure [64.54208910952651]
オーディオトランスフォーマーモデル mockingjay と wave2vec2.0 を比較した。音声モデルのテキスト表面、構文、および意味的特徴に対する理解を調査します。ネイティブ、非ネイティブ、合成、読み取り、自発的な音声データセットの完全な設定でこれを行います。
論文参考訳（メタデータ） (2021-01-02T06:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。