論文の概要: ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models

• arxiv url: http://arxiv.org/abs/2604.24940v1
• Date: Mon, 27 Apr 2026 19:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.57263
• Title: ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models
• Title（参考訳）: ADE: Adaptive Dictionary Embeddings -- 大規模言語モデルへのマルチアンカー表現のスケーリング
• Authors: Orhan Demirci, Sezer Aptourachman,
• Abstract要約: 本稿では,複数の単語表現を大規模言語モデルに拡張するフレームワークであるAdaptive Dictionary Embeddings (ADE)を紹介する。 ADEは,(1)高コストな2段階アンカールックアップを単一の効率的な操作に変換する語彙投影(VP),(2)新しい位置符号化方式であるグループ位置行列(GPE),(3)文脈対応アンカー再重み付けの3つの重要な貢献をしている。 ADE on AG News and DBpedia-14 text classification benchmarks。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word embeddings are fundamental to natural language processing, yet traditional approaches represent each word with a single vector, creating representational bottlenecks for polysemous words and limiting semantic expressiveness. While multi-anchor representations have shown promise by representing words as combinations of multiple vectors, they have been limited to small-scale models due to computational inefficiency and lack of integration with modern transformer architectures. We introduce Adaptive Dictionary Embeddings (ADE), a framework that successfully scales multi-anchor word representations to large language models. ADE makes three key contributions: (1) Vocabulary Projection (VP), which transforms the costly two-stage anchor lookup into a single efficient matrix operation; (2) Grouped Positional Encoding (GPE), a novel positional encoding scheme where anchors of the same word share positional information, preserving semantic coherence while enabling anchor-level variation; and (3) context-aware anchor reweighting, which leverages self-attention to dynamically compose anchor contributions based on sequence context. We integrate these components into the Segment-Aware Transformer (SAT), which provides context-aware reweighting of anchor contributions at inference time. We evaluate ADE on AG News and DBpedia-14 text classification benchmarks. With 98.7% fewer trainable parameters than DeBERTa-v3-base, ADE surpasses DeBERTa on DBpedia-14 (98.06% vs. 97.80%) and approaches it on AG News (90.64% vs. 94.50%), while compressing the embedding layer over 40x -- demonstrating that multi-anchor representations are a practical and parameter-efficient alternative to single-vector embeddings in modern transformer architectures.
• Abstract（参考訳）: 単語の埋め込みは自然言語処理の基本であるが、従来のアプローチは各単語を1つのベクトルで表現し、多文語の表現ボトルネックを作成し、意味表現性を制限する。 マルチアンカー表現は、単語を複数のベクトルの組合せとして表現することで、将来性を示しているが、計算の非効率さと現代のトランスフォーマーアーキテクチャとの統合の欠如により、小規模モデルに限定されている。 本稿では,複数の単語表現を大規模言語モデルに拡張するフレームワークであるAdaptive Dictionary Embeddings (ADE)を紹介する。 ADEは,コストのかかる2段階のアンカールックアップを単一の効率的な行列操作に変換するVocabulary Projection (VP),(2)同じ単語のアンカーが位置情報を共有する新たな位置符号化スキームであるGrouped Positional Encoding (GPE),および,アンカーレベルの変動を許容しながらセマンティックコヒーレンスを保存すること,(3)コンテキストアウェアアンカー再重み付けにより,シーケンスコンテキストに基づいたアンカーコントリビューションを動的に構成する,3つの重要なコントリビューションを提供する。 私たちはこれらのコンポーネントをSegment-Aware Transformer (SAT)に統合し、推論時にアンカーコントリビューションをコンテキスト対応で再重み付けする。 ADE on AG NewsとDBpedia-14テキスト分類ベンチマークを評価した。 DeBERTa-v3ベースよりも98.7%少ないトレーニング可能なパラメータを持つADEは、DBpedia-14上のDeBERTa(98.06% vs. 97.80%)を上回り、AG News(90.64% vs. 94.50%)にアプローチし、40倍以上の埋め込み層を圧縮し、マルチアンカー表現が現代のトランスフォーマーアーキテクチャにおける単一ベクトル埋め込みに代わる実用的でパラメータ効率のよい代替手段であることを示した。

関連論文リスト

• Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages [5.338837380875301]
  word2vec、BERT、GPTといったトークン化とサブトークン化に基づくモデルは、自然言語処理における最先端のモデルである。 本稿では,文字列から直接単語ベクトルを計算し,意味情報と構文情報を統合することを提案する。 BERTのようなコンテキストベースの大規模言語モデルと、低リソースおよび形態学的にリッチな言語のための word2vec のような小さなモデルの両方のパフォーマンスを改善する可能性がある。
  論文  参考訳（メタデータ） (2026-02-24T21:16:08Z)
• Bootstrapping Referring Multi-Object Tracking [27.77514740607812]
  マルチオブジェクト追跡(RMOT)と呼ばれる新しい一般的な参照理解タスクを導入する。 その中核となる考え方は、言語表現を意味的キューとして利用して、多目的追跡の予測を導くことである。 高品質なアノテーションを効率よく生成するために,9,758個の言語プロンプトを定式化する半自動ラベリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:02:10Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Learning Multiscale Transformer Models for Sequence Generation [33.73729074207944]
  単語境界情報と句レベルの事前知識に基づいて,スケール間の関係を確立することで,マルチスケールトランスフォーマーモデルを構築する。 特に、いくつかのテストセットにおいて、効率を犠牲にすることなく、強いベースラインに対して一貫したパフォーマンス向上を実現した。
  論文  参考訳（メタデータ） (2022-06-19T07:28:54Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Self-attention encoding and pooling for speaker recognition [16.96341561111918]
  本研究では,非固定長音声音声の識別話者埋め込みを実現するために,タンデム自己認識・プーリング(SAEP)機構を提案する。 SAEPは、テキストに依存しない話者検証に使用される話者埋め込みに、短時間の話者スペクトル特徴を符号化する。 このアプローチをVoxCeleb1と2のデータセットで評価した。
  論文  参考訳（メタデータ） (2020-08-03T09:31:27Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。