論文の概要: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence

• arxiv url: http://arxiv.org/abs/2410.17161v1
• Date: Tue, 22 Oct 2024 16:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:35.558555
• Title: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence
• Title（参考訳）: 拡張可能な語彙とアルファ等価性のための交換可能なトークン埋め込み
• Authors: İlker Işık, Ramazan Gokberk Cinbis, Ebru Aydin Gol,
• Abstract要約: 言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法は,構文表現における境界変数のリネームが意味論を保存する原理であるα等価性に対処するように設計されている。
• 参考スコア（独自算出の注目度）: 6.991281327290525
• License:
• Abstract: We propose a novel approach for learning interchangeable tokens in language models to obtain an extendable vocabulary that can generalize to new tokens. Our method is designed to address alpha-equivalence, the principle that renaming bound variables in a syntactic expression preserves semantics. This property arises in many formal languages such as temporal logics, in which all proposition symbols represent the same concept but are distinguishable from each other. To handle such tokens, we develop a dual-part embedding approach. The first part is shared across all interchangeable tokens, thereby enforcing that they represent the same core concept. The second part is randomly generated for each token, which enables distinguishability. We evaluate our method in a Transformer encoder-decoder model on two tasks: solving linear temporal logic formulae and copying with extendable vocabulary. Our method demonstrates promising generalization capabilities in addition to introducing a favorable inductive bias for alpha-equivalence.
• Abstract（参考訳）: 本稿では,新しいトークンに一般化可能な拡張可能な語彙を得るために,言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法は,構文表現における境界変数のリネームが意味論を保存する原理であるα等価性に対処するために設計されている。 この性質は、時間論理のような多くの形式言語に現れ、全ての命題記号が同じ概念を表すが、互いに区別できる。 このようなトークンを扱うために、我々は二重部分埋め込みアプローチを開発した。 最初の部分はすべての交換可能なトークン間で共有され、それによってそれらが同じコア概念を表現する。 第2部はトークン毎にランダムに生成され、区別可能である。 線形時間論理式の解法と拡張可能な語彙による複写という2つのタスクでトランスフォーマーエンコーダ・デコーダモデルを用いて本手法の評価を行った。 提案手法は,アルファ等価性に優れた帰納バイアスを導入することに加えて,有望な一般化能力を示す。

関連論文リスト

• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [68.68025991850115]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Word Boundary Information Isn't Useful for Encoder Language Models [8.1305024841559]
  我々は、4つの異なる訓練尺度でトランスフォーマーエンコーダを訓練し、単語境界情報を含むいくつかの代替手法について検討する。 代替手法による大幅な改善は見つからず、単語境界情報を削除するトークンサの修正は有用な情報の喪失につながるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-01-15T19:21:08Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Sequential Integrated Gradients: a simple but effective method for explaining language models [0.18459705687628122]
  SIG(Sequential Integrated Gradients)と呼ばれる言語モデルを記述する新しい手法を提案する。 SIGは、文中の各単語の重要性を計算し、他のすべての単語を固定し、ベースラインと興味のある単語の間にのみ生成する。 我々はSIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルとデータセットを示す。
  論文  参考訳（メタデータ） (2023-05-25T08:44:11Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding [22.390804161191635]
  自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。 トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。 階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-23T23:22:20Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。