論文の概要: Enhancing Hyperspace Analogue to Language (HAL) Representations via Attention-Based Pooling for Text Classification

• arxiv url: http://arxiv.org/abs/2603.20149v1
• Date: Fri, 20 Mar 2026 17:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.254765
• Title: Enhancing Hyperspace Analogue to Language (HAL) Representations via Attention-Based Pooling for Text Classification
• Title（参考訳）: テキスト分類のためのアテンションベースポーリングによるハイパースペース・アナローグから言語(HAL)表現の強化
• Authors: Ali Sakour, Zoalfekar Sakour,
• Abstract要約: 我々はHAL表現パイプラインに学習可能で温度スケールの付加的注意機構を開発する。 IMDB感情分析データセットを用いて,提案したアーキテクチャを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Hyperspace Analogue to Language (HAL) model relies on global word co-occurrence matrices to construct distributional semantic representations. While these representations capture lexical relationships effectively, aggregating them into sentence-level embeddings via standard mean pooling often results in information loss. Mean pooling assigns equal weight to all tokens, thereby diluting the impact of contextually salient words with uninformative structural tokens. In this paper, we address this limitation by integrating a learnable, temperature-scaled additive attention mechanism into the HAL representation pipeline. To mitigate the sparsity and high dimensionality of the raw co-occurrence matrices, we apply Truncated Singular Value Decomposition (SVD) to project the vectors into a dense latent space prior to the attention layer. We evaluate the proposed architecture on the IMDB sentiment analysis dataset. Empirical results demonstrate that the attention-based pooling approach achieves a test accuracy of 82.38%, yielding an absolute improvement of 6.74 percentage points over the traditional mean pooling baseline (75.64%). Furthermore, qualitative analysis of the attention weights indicates that the mechanism successfully suppresses stop-words and selectively attends to sentiment-bearing tokens, improving both classification performance and model interpretability.
• Abstract（参考訳）: ハイパースペース・アナローグ・トゥ・ランゲージ(HAL)モデルは、分布意味表現を構築するためにグローバルな単語共起行列に依存している。 これらの表現は語彙的関係を効果的に捉えるが、標準的な平均プールを通して文レベルの埋め込みに集約すると、しばしば情報を失う。 平均プーリングは全てのトークンに等しい重みを割り当て、非形式的構造トークンによる文脈的に健全な単語の影響を弱める。 本稿では,HAL表現パイプラインに学習可能で温度スケールの付加的注意機構を統合することで,この制限に対処する。 原共起行列の空隙性と高次元性を緩和するため,ベクトルを注目層に先行する密度の潜在空間に投影するために,Trncated Singular Value Decomposition (SVD)を適用した。 IMDB感情分析データセットを用いて,提案したアーキテクチャを評価する。 実証的な結果は、注意に基づくプール法が82.38%の精度を達成し、従来の平均プール法(75.64%)よりも6.74ポイントの絶対的な改善をもたらすことを示している。 さらに、注意重みの質的分析により、このメカニズムは停止語を抑え、感情を持つトークンに選択的に参画し、分類性能とモデル解釈性の両方を改善していることを示す。

関連論文リスト

• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Bridging the Semantic Gap for Categorical Data Clustering via Large Language Models [64.58262227709842]
  ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)が紹介される。 正確なクラスタリングのためにカテゴリデータのメトリック空間を補完するセマンティックアウェア表現を構築する。 8つのベンチマークデータセットの実験では、7つの代表的なデータセットよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-03T11:37:46Z)
• Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
  本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。 我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。 正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
  論文  参考訳（メタデータ） (2025-10-23T20:22:22Z)
• Beyond Attention: Learning Spatio-Temporal Dynamics with Emergent Interpretable Topologies [0.20482269513546453]
  グラフ注意ネットワーク(GAT)は空間的依存をモデル化するために人気があるが、事前に定義された隣接構造と動的注意スコアに依存している。 マスクされた注意を、完全に学習可能な対称なノード相互作用行列に置き換える簡易な代替手段であるInterGATを提案する。 当社のフレームワークであるInterGAT-GRUは,ベースラインGAT-GRUよりも精度が高く,SZ-Taxiデータセットでは少なくとも21%,Los-Loopデータセットでは6%向上している。
  論文  参考訳（メタデータ） (2025-06-01T01:27:32Z)
• Balancing Complexity and Informativeness in LLM-Based Clustering: Finding the Goldilocks Zone [0.0]
  本稿では,情報性と認知的単純さのトレードオフを定量化することにより,最適なクラスタ数について検討する。 大規模言語モデル(LLM)を用いてクラスタ名を生成し,その有効性を評価する。 語彙分類における言語効率を並列化する16-22クラスタの最適範囲を同定する。
  論文  参考訳（メタデータ） (2025-04-06T01:16:22Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  我々はSemantic Equitable Clustering(SEC)という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• Markovian Transformers for Informative Language Modeling [1.172865818448696]
  CoT(Chain-of-Thought)推論は、しばしば言語モデルの根底にある決定プロセスを忠実に反映しない。 推論オートエンコーダとして理解可能なマルコフ言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-29T17:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。