論文の概要: Names Don't Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning

• arxiv url: http://arxiv.org/abs/2601.23169v1
• Date: Fri, 30 Jan 2026 16:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.573039
• Title: Names Don't Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning
• Title（参考訳）: 名前は重要ではない: オープン語彙学習のための記号不変変換器
• Authors: İlker Işık, Wenchao Li,
• Abstract要約: 現在のニューラルアーキテクチャには、交換可能なトークンを扱うための原則的な方法がない。 本稿では、交換可能なトークンの改名に対して、確実に不変なトランスフォーマーベースのメカニズムを提案する。
• 参考スコア（独自算出の注目度）: 4.288959596387606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current neural architectures lack a principled way to handle interchangeable tokens, i.e., symbols that are semantically equivalent yet distinguishable, such as bound variables. As a result, models trained on fixed vocabularies often struggle to generalize to unseen symbols, even when the underlying semantics remain unchanged. We propose a novel Transformer-based mechanism that is provably invariant to the renaming of interchangeable tokens. Our approach employs parallel embedding streams to isolate the contribution of each interchangeable token in the input, combined with an aggregated attention mechanism that enables structured information sharing across streams. Experimental results confirm the theoretical guarantees of our method and demonstrate substantial performance gains on open-vocabulary tasks that require generalization to novel symbols.
• Abstract（参考訳）: 現在のニューラルアーキテクチャでは、交換可能なトークン、すなわち有界変数のような意味論的に等価だが区別可能なシンボルを扱うための原則的な方法が欠如している。 結果として、固定語彙で訓練されたモデルはしばしば、基礎となる意味論が変わらない場合でも、目に見えない記号に一般化するのに苦労する。 本稿では、交換可能なトークンの改名に対して、確実に不変なトランスフォーマーベースのメカニズムを提案する。 提案手法では並列埋め込みストリームを用いて,入力中の各交換可能なトークンのコントリビューションを分離し,ストリーム間の構造化情報共有を可能にするアグリゲーションアテンション機構と組み合わせる。 実験により,提案手法の理論的保証を確認し,新しいシンボルへの一般化を必要とするオープン語彙タスクにおいて,大幅な性能向上を示す。

関連論文リスト

• $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning [48.264642951728085]
  検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
  論文  参考訳（メタデータ） (2025-09-20T12:35:07Z)
• Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence [6.991281327290525]
  言語モデルは交換可能なトークンの概念を欠いている。 我々は、この機械学習問題を形式化し、α-共分散を導入する。 本研究は,交換可能なトークン表現を学習可能な言語モデルの設計基盤を確立した。
  論文  参考訳（メタデータ） (2024-10-22T16:34:36Z)
• Latent Space Translation via Semantic Alignment [29.2401314068038]
  我々は、異なるニューラルモジュールから学んだ表現が、異なる事前学習されたネットワーク間でどのように変換されるかを示す。 提案手法は, 与えられた2つの潜在空間間の変換を直接推定することにより, 付加的な訓練を伴わずに, エンコーダとデコーダを効果的に縫合できる。 特に、ゼロショットテクストテキストエンコーダやビジョンデコーダ、あるいはリバーサがいかに可能かを示し、このマルチモーダル環境で驚くほど優れた分類性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-11-01T17:12:00Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Do Transformers use variable binding? [14.222494511474103]
  ディープニューラルネットワーク(DNN)の説明可能性を高めるには、シンボリック計算を実装するかどうかを評価する必要がある。 1つの中心的なシンボル容量は変数バインディングであり、入力値をシステム内部メモリに保持されている抽象変数にリンクする。 本稿では,最先端トランスフォーマーネットワークBERTとRoBERTaの可変結合容量を初めて体系的に評価する。
  論文  参考訳（メタデータ） (2022-02-19T09:56:38Z)
• AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
  トランスアーキテクチャにおけるアライメント方式を初めて導入する。 本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。 AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
  論文  参考訳（メタデータ） (2021-04-02T08:00:25Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。