論文の概要: All You Need Is Non-Commutative Words

• arxiv url: http://arxiv.org/abs/2608.29314v1
• Date: Sat, 29 Aug 2026 14:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.923099
• Title: All You Need Is Non-Commutative Words
• Title（参考訳）: 非可換語は必要なだけ
• Abstract要約: 語彙トークンをユニタリ行列として表現し、各文を順序付けられた積としてエンコードする。 同じ代数は、クエリー、キー、または値射影を持たない反対称自己アテンションを含むいくつかの機能をもたらす。 IMDBでは精度が高く、AG Newsでは同等のパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We represent lexical tokens as unitary matrices and encode each sentence as their ordered product. The noncommutativity of matrix product captures word order without positional encodings (PEs). The same algebra yields several capabilities, including antisymmetric self-attention with no query, key, or value projections, and parallel composition of variable-length text chunks at a reduced attention cost. Furthermore, it provides a canonical-coset readout layer that encodes all true unitary degrees of freedom compactly, while supporting continual learning through nested group extensions that enlarge the operator space with each new task preserving prior representations exactly. Across standard text-classification benchmarks, the method matches or exceeds bag-of-words baselines. Achieving higher accuracy on IMDB and comparable performance on AG News. Notably, this is accomplished by replacing the conventional $\sim$30,000-dimensional vocabulary space with a dense, 64-parameter real-valued encoding, highlighting the expressive efficiency of our parameterization.
• Abstract（参考訳）: 語彙トークンをユニタリ行列として表現し、各文を順序付けられた積としてエンコードする。 行列積の非可換性は、位置エンコーディング(PE)なしで単語の順序をキャプチャする。 同じ代数は、クエリ、キー、または値の投影を持たない非対称な自己アテンションや、注意を減らした可変長のテキストチャンクの並列合成など、いくつかの機能をもたらす。 さらに、すべての真のユニタリな自由度をコンパクトにエンコードする標準コセットの読み出し層を提供し、同時に、以前の表現を正確に保存する各新しいタスクで演算子空間を拡大するネスト付きグループ拡張を通じて連続的な学習をサポートする。 標準のテキスト分類ベンチマークでは、このメソッドはbacker-of-wordsベースラインにマッチするか、超える。 IMDBの精度とAG Newsの同等のパフォーマンスを達成する。 特に、従来の$\sim$30,000-dimensional vocabulary空間を64パラメータの実数値エンコーディングに置き換え、パラメータ化の表現効率を強調した。

関連論文リスト

• Rethinking Item Tokenization in Generative Recommenders: From Fixed Atoms to Semantic Subwords [50.621722853036005]
  生成レコメンデーションシステムでは、アイテムは通常、自己回帰的次イテム予測のために固定長のセマンティックIDシーケンスにトークン化される。 ユーザコンテキストのモデリングでは、このきめ細かい表現が注意の過負荷を引き起こす。 本稿では,歴史的項目を可変長のセマンティック・サブワードとして表現するセマンティック・サブワード・トークン化(SST)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T02:42:51Z)
• Prefix Parsing is Just Parsing [53.010152712125766]
  プレフィックスパーシングは、入力プレフィックスを与えられた文法によって生成された完全な文字列に拡張できるかどうかを問う。 そこで我々は,プレフィックス文法変換を導入し,プレフィックス解析を通常の構文解析に効率よく還元する。 また,次点重みベクトルを計算するためのアルゴリズム微分に基づく戦略も提案する。
  論文  参考訳（メタデータ） (2026-04-23T01:20:40Z)
• Breaking Token Into Concepts: Exploring Extreme Compression in Token Representation Via Compositional Shared Semantics [4.822201556735661]
  多様な意味的面を蓄積する構成構造により,トークンがより効果的に表現できるかどうかを検討する。 製品量子化(PQ)を利用した新しいアプローチであるAggregate Semantic Grouping(ASG)を提案する。 その結果,ASGによるトークンの合成により,埋め込みパラメータの極端な圧縮が達成された。 これらの結果は、トークンを共有セマンティックビルディングブロックの組み合わせとして効果的にモデル化できるという原則を検証する。
  論文  参考訳（メタデータ） (2025-09-22T13:04:48Z)
• Tokens with Meaning: A Hybrid Tokenization Approach for NLP [0.2826977330147589]
  自然言語処理(NLP)におけるトークン化の役割 規則に基づく形態素解析と統計的サブワードセグメンテーションを組み合わせたハイブリッドトークン化フレームワークを提案する。 本手法は, 音韻正規化, ルートアフィックス, および形態素保存と語彙効率のバランスをとる新しいアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2025-08-19T22:17:42Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Linear-Time Modeling of Linguistic Structure: An Order-Theoretic Perspective [97.57162770792182]
  文字列内のトークンのペア間の関係をモデル化するタスクは、自然言語を理解する上で不可欠な部分である。 これらの徹底的な比較は避けられ、さらに、トークン間の関係を文字列上の部分順序としてキャストすることで、複雑さを線形に減らすことができる。 提案手法は,文字列中の各トークンの実際の数を並列に予測し,それに従ってトークンをソートすることで,文字列内のトークンの総順序を決定する。
  論文  参考訳（メタデータ） (2023-05-24T11:47:35Z)
• Elementwise Language Representation [6.233117407988574]
  本稿では,要素埋め込みと呼ばれる計算言語表現のための新しい手法を提案する。 要素埋め込みは変換器モデルの$w$次元埋め込みテーブルを256$c$次元要素に置き換えることを示す。 BERTは要素埋め込みで訓練され、多ラベル特許文書分類においてそのサブワード等価性を上回っている。
  論文  参考訳（メタデータ） (2023-02-27T02:15:56Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• All Word Embeddings from One Embedding [23.643059189673473]
  自然言語処理のためのニューラルネットワークベースのモデルでは、パラメータの最大の部分は単語の埋め込みで構成されていることが多い。 本研究では,パラメータの総数を削減するために,すべての単語に対する埋め込みを共有埋め込みを変換することによって表現する。 提案手法であるALONEは,単語固有のが学習不能なフィルタベクトルを用いて,単語の埋め込みを改良し,単語の埋め込みを構築する。
  論文  参考訳（メタデータ） (2020-04-25T07:38:08Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。