論文の概要: Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
- arxiv url: http://arxiv.org/abs/2511.06376v1
- Date: Sun, 09 Nov 2025 13:27:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:44.910757
- Title: Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
- Title（参考訳）: 変圧器における語彙インテクスト学習:位置エンコーディングの利点
- Authors: Qian Ma, Ruoxiang Xu, Yongqiang Cai,
- Abstract要約: Transformerアーキテクチャは、インコンテキスト学習(ICL)機能を持つ
関数近似を含むシナリオでは、コンテキストはモデルの制御パラメータとして機能し、普遍近似特性(UAP)を付与する。
単一層トランスフォーマーにおけるVICLは、位置符号化なしではUAPを持たないが、位置符号化を含む場合、UAPを実現することが可能である。
- 参考スコア（独自算出の注目度）: 10.391624168081647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Numerous studies have demonstrated that the Transformer architecture possesses the capability for in-context learning (ICL). In scenarios involving function approximation, context can serve as a control parameter for the model, endowing it with the universal approximation property (UAP). In practice, context is represented by tokens from a finite set, referred to as a vocabulary, which is the case considered in this paper, \emph{i.e.}, vocabulary in-context learning (VICL). We demonstrate that VICL in single-layer Transformers, without positional encoding, does not possess the UAP; however, it is possible to achieve the UAP when positional encoding is included. Several sufficient conditions for the positional encoding are provided. Our findings reveal the benefits of positional encoding from an approximation theory perspective in the context of ICL.
- Abstract（参考訳）: トランスフォーマーアーキテクチャは、インコンテキスト学習(ICL)の能力を持っていることが、多くの研究で証明されている。
関数近似を含むシナリオでは、コンテキストはモデルの制御パラメータとして機能し、普遍近似特性(UAP)を付与する。
実際には、文脈は有限集合のトークンで表され、これは語彙(vocabulary)と呼ばれ、この論文では「emph{i.e.}, vocabulary in-context learning (VICL)」と記述されている。
単一層トランスフォーマーにおけるVICLは、位置符号化なしではUAPを持たないが、位置符号化を含む場合、UAPを実現することが可能である。
位置符号化のためのいくつかの十分な条件が提供される。
ICLの文脈における近似理論の観点から位置符号化の利点を明らかにした。
関連論文リスト
- SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。
言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
論文 参考訳（メタデータ） (2025-06-16T09:16:40Z) - Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。
そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。
本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
論文 参考訳（メタデータ） (2025-06-02T18:07:55Z) - Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
本研究では,コンテキストbfTextualized equivaritextbfAnt textbfPosition textbfEncoding(textbfTAPE)を提案する。
提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
論文 参考訳（メタデータ） (2025-01-01T03:23:00Z) - Contextual Position Encoding: Learning to Count What's Important [42.038277620194]
我々は,新しい位置符号化手法であるコンテキスト位置フロップ(CoPE)を提案する。
CoPEは、モデルによって決定された特定のトークンに位置を増すことによって、状況に応じて位置を条件付けることができる。
一般的な位置埋め込みが失敗するFlip-Flopタスクにおいて,CoPEが選択的コピー,カウント,Flip-Flopタスクを解くことができることを示す。
論文 参考訳（メタデータ） (2024-05-29T02:57:15Z) - DAPE: Data-Adaptive Positional Encoding for Length Extrapolation [60.18239094672938]
位置符号化はトランスにおいて重要な役割を担い、モデル性能と一般化長に大きな影響を及ぼす。
本研究では,訓練された長さと長さの一般化の観点からモデル性能を向上させるDAPE法を提案する。
提案手法は, 他の静的位置符号化法と比較して, シーケンス長128でモデルをトレーニングし, 評価シーケンス長8192で性能を向上する。
論文 参考訳（メタデータ） (2024-05-23T15:51:24Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳（メタデータ） (2023-11-14T22:47:23Z) - Encoding Sentence Position in Context-Aware Neural Machine Translation
with Concatenation [25.9276959748365]
コンテクスト対応翻訳は、連続した文と標準のTransformerアーキテクチャとの結合を処理することで実現できる。
本稿では,連結ウィンドウに含まれる文の位置に関する明示的な情報をモデルに提供するという直感的な考え方について検討する。
論文 参考訳（メタデータ） (2023-02-13T15:39:08Z) - Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。
その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文 参考訳（メタデータ） (2022-05-30T12:27:48Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳（メタデータ） (2022-05-23T16:47:37Z) - Controllable Video Captioning with an Exemplar Sentence [89.78812365216983]
本稿では,エンコーダ・デコーダ・リコンストラクタアーキテクチャに組み込んだ新しいSMCGを提案する。
SMCGはビデオセマンティック表現を入力とし、長期記憶ネットワークのゲートとセルを条件的に変調する。
2つの公開ビデオキャプションデータセットに対して、補助的な例文を収集して実験を行う。
論文 参考訳（メタデータ） (2021-12-02T09:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。