論文の概要: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence

• arxiv url: http://arxiv.org/abs/2410.17161v1
• Date: Tue, 22 Oct 2024 16:34:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:35.558555
• Title: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence
• Title（参考訳）: 拡張可能な語彙とアルファ等価性のための交換可能なトークン埋め込み
• Authors: İlker Işık, Ramazan Gokberk Cinbis, Ebru Aydin Gol,
• Abstract要約: 言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法は,構文表現における境界変数のリネームが意味論を保存する原理であるα等価性に対処するように設計されている。
• 参考スコア（独自算出の注目度）: 6.991281327290525
• License:
• Abstract: We propose a novel approach for learning interchangeable tokens in language models to obtain an extendable vocabulary that can generalize to new tokens. Our method is designed to address alpha-equivalence, the principle that renaming bound variables in a syntactic expression preserves semantics. This property arises in many formal languages such as temporal logics, in which all proposition symbols represent the same concept but are distinguishable from each other. To handle such tokens, we develop a dual-part embedding approach. The first part is shared across all interchangeable tokens, thereby enforcing that they represent the same core concept. The second part is randomly generated for each token, which enables distinguishability. We evaluate our method in a Transformer encoder-decoder model on two tasks: solving linear temporal logic formulae and copying with extendable vocabulary. Our method demonstrates promising generalization capabilities in addition to introducing a favorable inductive bias for alpha-equivalence.
• Abstract（参考訳）: 本稿では,新しいトークンに一般化可能な拡張可能な語彙を得るために,言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法は,構文表現における境界変数のリネームが意味論を保存する原理であるα等価性に対処するために設計されている。 この性質は、時間論理のような多くの形式言語に現れ、全ての命題記号が同じ概念を表すが、互いに区別できる。 このようなトークンを扱うために、我々は二重部分埋め込みアプローチを開発した。 最初の部分はすべての交換可能なトークン間で共有され、それによってそれらが同じコア概念を表現する。 第2部はトークン毎にランダムに生成され、区別可能である。 線形時間論理式の解法と拡張可能な語彙による複写という2つのタスクでトランスフォーマーエンコーダ・デコーダモデルを用いて本手法の評価を行った。 提案手法は,アルファ等価性に優れた帰納バイアスを導入することに加えて,有望な一般化能力を示す。

関連論文リスト

• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Word Boundary Information Isn't Useful for Encoder Language Models [8.1305024841559]
  我々は、4つの異なる訓練尺度でトランスフォーマーエンコーダを訓練し、単語境界情報を含むいくつかの代替手法について検討する。 代替手法による大幅な改善は見つからず、単語境界情報を削除するトークンサの修正は有用な情報の喪失につながるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-01-15T19:21:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Sequential Integrated Gradients: a simple but effective method for explaining language models [0.18459705687628122]
  SIG(Sequential Integrated Gradients)と呼ばれる言語モデルを記述する新しい手法を提案する。 SIGは、文中の各単語の重要性を計算し、他のすべての単語を固定し、ベースラインと興味のある単語の間にのみ生成する。 我々はSIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルとデータセットを示す。
  論文  参考訳（メタデータ） (2023-05-25T08:44:11Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。