Fugu-MT 論文翻訳(概要): What Formal Languages Can Transformers Express? A Survey

論文の概要: What Formal Languages Can Transformers Express? A Survey

arxiv url: http://arxiv.org/abs/2311.00208v2
Date: Mon, 6 May 2024 19:48:28 GMT
ステータス: 処理完了
システム内更新日: 2024-05-08 20:03:52.769265
Title: What Formal Languages Can Transformers Express? A Survey
Title（参考訳）: トランスフォーマーが表現できる形式言語は何か?
Authors: Lena Strobl, William Merrill, Gail Weiss, David Chiang, Dana Angluin,
Abstract要約: 一部の研究者は、問題を形式言語として扱うことによって、彼らが解決できる問題とできない問題について理論的に研究してきた。本稿では,この研究を包括的に調査し,異なる結果の基盤となる多様な仮定を文書化し,一見矛盾する発見を調和させる統一的な枠組みを提供する。
参考スコア（独自算出の注目度）: 11.068780109935277
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As transformers have gained prominence in natural language processing, some researchers have investigated theoretically what problems they can and cannot solve, by treating problems as formal languages. Exploring such questions can help clarify the power of transformers relative to other models of computation, their fundamental capabilities and limits, and the impact of architectural choices. Work in this subarea has made considerable progress in recent years. Here, we undertake a comprehensive survey of this work, documenting the diverse assumptions that underlie different results and providing a unified framework for harmonizing seemingly contradictory findings.
Abstract（参考訳）: 自然言語処理においてトランスフォーマーが注目されているため、一部の研究者は、形式言語として問題を扱うことによって、彼らが解決できる問題とできない問題について理論的に研究してきた。このような質問を探索することは、他の計算モデルと比較してトランスフォーマーのパワー、その基本的な能力と限界、そしてアーキテクチャの選択の影響を明らかにするのに役立ちます。この郊外での作業は近年かなりの進歩を遂げている。本稿では,この研究を包括的に調査し,異なる結果の基盤となる多様な仮定を文書化し,一見矛盾する発見を調和させる統一的な枠組みを提供する。

関連論文リスト

Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文参考訳（メタデータ） (2024-11-12T13:14:09Z)
Survey: Transformer-based Models in Data Modality Conversion [0.8136541584281987]
モダリティ・コンバージョン(Modality Conversion)は、人間が知覚情報を統合して解釈する方法を模倣して、ある形態の表現から別の形式へのデータの変換を行う。本稿では, テキスト, 視覚, 音声の一次モーダル性に適用されたトランスフォーマーモデルについて, アーキテクチャ, 変換手法, 応用について論じる。
論文参考訳（メタデータ） (2024-08-08T18:39:14Z)
How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
論文参考訳（メタデータ） (2024-06-05T08:51:08Z)
Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文参考訳（メタデータ） (2024-05-10T17:11:31Z)
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文参考訳（メタデータ） (2023-06-11T23:13:51Z)
Transformers in Speech Processing: A Survey [4.984401393225283]
トランスフォーマーは、音声認識、音声合成、音声翻訳、音声パラ言語学、音声強調、音声対話システム、マルチモーダルアプリケーションなど、様々な音声関連領域で注目を集めている。本稿では,音声技術における様々な分野の研究を橋渡しすることを目的とした包括的調査を行う。
論文参考訳（メタデータ） (2023-03-21T06:00:39Z)
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文参考訳（メタデータ） (2023-03-07T21:42:17Z)
Combining Transformers with Natural Language Explanations [13.167758466408825]
本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
論文参考訳（メタデータ） (2021-09-02T09:17:04Z)
Morph Call: Probing Morphosyntactic Content of Multilingual Transformers [2.041108289731398]
Morph Callは、異なる形態を持つ4つのインド・ヨーロッパ語(英語、フランス語、ドイツ語、ロシア語)の46の探索タスクからなるスイートである。我々は4つの多言語トランスのモルフォシンタクティックな内容を分析するために,ニューロン,層および表現レベルのイントロスペクション技術の組み合わせを用いる。その結果, POSタグの微調整により, 探索性能が向上し, モデル間でのモルフォシンタクティック知識の分配方法が変化することが示唆された。
論文参考訳（メタデータ） (2021-04-26T19:53:00Z)
SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
論文参考訳（メタデータ） (2021-03-17T13:23:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。