論文の概要: Cross-Attention and Encoder-Decoder Transformers: A Logical Characterization
- arxiv url: http://arxiv.org/abs/2605.07705v1
- Date: Fri, 08 May 2026 13:14:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.062272
- Title: Cross-Attention and Encoder-Decoder Transformers: A Logical Characterization
- Title（参考訳）: クロスアテンション・エンコーダ・デコーダ変換器:論理的特徴
- Authors: Veeti Ahvonen, Damian Heiman, Antti Kuusisto, Miguel Moreno, Matias Selin,
- Abstract要約: 浮動小数点数とソフトアテンションの実践的な設定において,テキスト上のそのような変換器について検討する。
また、分散オートマトンを用いて、このようなトランスフォーマーのさらなる特徴付けを行う。
- 参考スコア（独自算出の注目度）: 2.446672595462589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We give a novel logical characterization of encoder-decoder transformers, the foundational architecture for LLMs that also sees use in various settings that benefit from cross-attention. We study such transformers over text in the practical setting of floating-point numbers and soft-attention, characterizing them with a new temporal logic. This logic extends propositional logic with a counting global modality over the encoder input and a past modality over the decoder input. We also give an additional characterization of such transformers via a type of distributed automata, and show that our results are not limited to the specific choices in the architecture and can account for changes in, e.g., masking. Finally, we discuss encoder-decoder transformers in the autoregressive setting.
- Abstract（参考訳）: 本稿では,LLMの基本アーキテクチャであるエンコーダ・デコーダ変換器の論理的特徴について述べる。
浮動小数点数とソフトアテンションの実践的な設定において、テキスト上のそのような変換器について検討し、新しい時間論理で特徴付ける。
この論理は命題論理を拡張し、エンコーダの入力に対してグローバルなモダリティを数え、デコーダの入力に対して過去のモダリティを数える。
また、分散オートマトンを用いて、このようなトランスフォーマーのキャラクタリゼーションを付加し、アーキテクチャ内の特定の選択に限らず、例えばマスキングなどの変更を考慮できることを示す。
最後に,自己回帰設定におけるエンコーダ・デコーダ変換について述べる。
関連論文リスト
- Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study [52.91899050612153]
自動音声認識(ASR)のためのエンコーダとして再利用された事前訓練言語モデル(PLM)内のトランスフォーマー
本研究は,事前学習したLMのトランスフォーマーを組み込んだASRタスクにおいて,文字誤り率 (CER) とワード誤り率 (WER) の顕著な改善が認められた。
このことは、事前訓練されたトランスフォーマーに埋め込まれたセマンティックな技術を活用して、ASRシステムの能力を向上させる可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-09-26T11:31:18Z) - Improving Transformers using Faithful Positional Encoding [55.30212768657544]
本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。
標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
論文 参考訳（メタデータ） (2024-05-15T03:17:30Z) - DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers [6.405360669408265]
本稿では,エンコーダ・デコーダ変換器を簡易に解析する手法を提案する。
LogitLens(デコーダのみのトランスフォーマー)にインスパイアされたこの手法では、デコーダが中間エンコーダ層を横断的に表現できるようにする。
質問応答,論理的推論,音声認識,機械翻訳を訓練したモデルに適用したDecoderLensの結果を報告する。
論文 参考訳（メタデータ） (2023-10-05T17:04:59Z) - Tighter Bounds on the Expressivity of Transformer Encoders [9.974865253097127]
固定精度変圧器エンコーダの上位境界と変圧器エンコーダの下位境界とを同時に有する量子化器を数える一階述語論理の変種を同定する。
これにより、トランスフォーマーエンコーダが認識する言語の正確なキャラクタリゼーションに、これまでよりもずっと近いものになります。
論文 参考訳（メタデータ） (2023-01-25T18:05:55Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。
これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
論文 参考訳（メタデータ） (2020-10-06T11:50:54Z) - On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。
ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。
このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
論文 参考訳（メタデータ） (2020-04-24T16:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。