論文の概要: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence

• arxiv url: http://arxiv.org/abs/2410.17161v2
• Date: Mon, 27 Jan 2025 21:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:39:24.878403
• Title: Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence
• Title（参考訳）: 拡張可能な語彙とアルファ等価性のための交換可能なトークン埋め込み
• Authors: İlker Işık, Ramazan Gokberk Cinbis, Ebru Aydin Gol,
• Abstract要約: 言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法はα等価性に対処し,有界変数のリネームが意味論を保存するという原理を定めている。 提案手法は, 有望な一般化能力を示すとともに, アルファ等価性に対する有望な帰納バイアスを示す。
• 参考スコア（独自算出の注目度）: 6.991281327290525
• License:
• Abstract: We propose a novel approach for learning interchangeable tokens in language models to obtain an extendable vocabulary that can generalize to new tokens. Our method addresses alpha-equivalence, the principle that renaming bound variables preserves semantics. This property arises in many formal languages such as temporal logics, where all proposition symbols represent the same concept but remain distinct. To handle such tokens, we develop a dual-part embedding approach. The first part is shared across all interchangeable tokens, enforcing that they represent the same core concept. The second part is randomly generated for each token, enabling distinguishability. As a baseline, we consider a simpler approach that uses alpha-renaming for data augmentation. We also present alpha-covariance, a metric for measuring robustness against alpha-conversions. When evaluated in a Transformer encoder-decoder model for solving linear temporal logic formulae and copying with extendable vocabulary, our method demonstrates promising generalization capabilities as well as a favorable inductive bias for alpha-equivalence.
• Abstract（参考訳）: 本稿では,新しいトークンに一般化可能な拡張可能な語彙を得るために,言語モデルにおける交換可能なトークンを学習するための新しいアプローチを提案する。 本手法はα等価性に対処し,有界変数のリネームが意味論を保存するという原理を定めている。 この性質は、時間論理のような多くの形式言語に現れ、全ての命題記号は同じ概念を表わすが、相異なるままである。 このようなトークンを扱うために、我々は二重部分埋め込みアプローチを開発した。 最初の部分は、すべての交換可能なトークン間で共有され、それらが同じコア概念を表現する。 第2部はトークン毎にランダムに生成され、識別性を実現する。 ベースラインとして、データ拡張にα-リネームを用いるより単純なアプローチを考える。 また、アルファ変換に対するロバスト性を測定するための指標であるα-共分散も提示する。 線形時間論理式を解くためのトランスフォーマーエンコーダ・デコーダモデルで評価し、拡張可能な語彙でコピーすると、提案手法は有望な一般化能力と、アルファ等価性に好適な帰納バイアスを示す。

関連論文リスト

• Tokenization as Finite-State Transduction [24.19959327497118]
  正規言語の全てのトークン化を効率的にエンコードできる有限状態フレームワークを導入する。 そのByte-Pairを示します。 Match(BPE)とMaxPiece(WordPiece)がこのフレームワークに適合する。 これの応用は、あるパターンにマッチするように言語モデルの出力を制約するガイド付き生成である。
  論文  参考訳（メタデータ） (2024-10-21T07:10:07Z)
• SEP: Self-Enhanced Prompt Tuning for Visual-Language Model [93.94454894142413]
  SEP(Self-Enhanced Prompt Tuning)という新しいアプローチを導入する。 SEPは、テキストレベルの埋め込みと視覚レベルの埋め込みの両方を強化するために、差別的な事前知識を明示的に取り入れている。 様々なベンチマークやタスクの総合的な評価は、プロンプトチューニングにおけるSEPの有効性を確認している。
  論文  参考訳（メタデータ） (2024-05-24T13:35:56Z)
• Word Boundary Information Isn't Useful for Encoder Language Models [8.1305024841559]
  我々は、4つの異なる訓練尺度でトランスフォーマーエンコーダを訓練し、単語境界情報を含むいくつかの代替手法について検討する。 代替手法による大幅な改善は見つからず、単語境界情報を削除するトークンサの修正は有用な情報の喪失につながるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-01-15T19:21:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Sequential Integrated Gradients: a simple but effective method for explaining language models [0.18459705687628122]
  SIG(Sequential Integrated Gradients)と呼ばれる言語モデルを記述する新しい手法を提案する。 SIGは、文中の各単語の重要性を計算し、他のすべての単語を固定し、ベースラインと興味のある単語の間にのみ生成する。 我々はSIGが言語モデルを説明するのに非常に効果的な方法であることを証明した様々なモデルとデータセットを示す。
  論文  参考訳（メタデータ） (2023-05-25T08:44:11Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。