論文の概要: LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers

• arxiv url: http://arxiv.org/abs/2502.15007v1
• Date: Thu, 20 Feb 2025 19:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:16.358999
• Title: LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
• Title（参考訳）: LLM-Microscope:変圧器のコンテキスト記憶における乱れの隠れた役割を明らかにする
• Authors: Anton Razzhigaev, Matvey Mikhalchuk, Temurbek Rahmatullaev, Elizaveta Goncharova, Polina Druzhinina, Ivan Oseledets, Andrey Kuznetsov,
• Abstract要約: 大規模言語モデルがどのようにコンテキスト情報をエンコードし、格納するかを定量化する手法。 トークンはしばしばマイナー(例えば、決定子、句読点)と見なされるが、驚くほど高いコンテキストを持つことを示す。 本稿では,トークンレベルの非線形性を評価し,文脈記憶を評価し,中間層への寄与を可視化するオープンソースツールキット LLM-Microscope を提案する。
• 参考スコア（独自算出の注目度）: 6.023406194975845
• License:
• Abstract: We introduce methods to quantify how Large Language Models (LLMs) encode and store contextual information, revealing that tokens often seen as minor (e.g., determiners, punctuation) carry surprisingly high context. Notably, removing these tokens -- especially stopwords, articles, and commas -- consistently degrades performance on MMLU and BABILong-4k, even if removing only irrelevant tokens. Our analysis also shows a strong correlation between contextualization and linearity, where linearity measures how closely the transformation from one layer's embeddings to the next can be approximated by a single linear mapping. These findings underscore the hidden importance of filler tokens in maintaining context. For further exploration, we present LLM-Microscope, an open-source toolkit that assesses token-level nonlinearity, evaluates contextual memory, visualizes intermediate layer contributions (via an adapted Logit Lens), and measures the intrinsic dimensionality of representations. This toolkit illuminates how seemingly trivial tokens can be critical for long-range understanding.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) がコンテキスト情報をエンコードし,格納する手法を紹介し,トークンが驚くほど高いコンテキストを持つ小ささ (例えば,決定子,句読点) であることを示す。 特に、これらのトークン、特にストップワード、記事、コンマの削除は、無関係なトークンだけを削除しても、MMLUとBABILong-4kのパフォーマンスを一貫して低下させる。 また, 文脈化と線形性の間には強い相関関係がみられ, 線形性は, 一つの層に埋め込まれた埋め込みから次の層への変換を, 単一の線形写像で近似することができる。 これらの知見は, コンテクスト維持におけるフィラートークンの重要性を浮き彫りにした。 さらに,トークンレベルの非線形性を評価し,文脈記憶を評価し,中間層によるコントリビューションを可視化し(ロジットレンズを用いて),表現の内在次元を測定するオープンソースツールキット LLM-Microscope を提案する。 このツールキットは、長距離理解において、一見自明なトークンがいかに重要であるかを照らす。

関連論文リスト

• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• Context-Aware Hierarchical Merging for Long Document Summarization [56.96619074316232]
  本論文では,階層的なマージをソース文書からコンテキストと統合する手法を提案する。 法的および物語的領域を表すデータセットの実験結果は、文脈的拡張がゼロショットと階層的な融合ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-02-03T01:14:31Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを大きな言語モデルベースの埋め込み器に入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致させることができる。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• Taking a Deep Breath: Enhancing Language Modeling of Large Language Models with Sentinel Tokens [21.61634020256455]
  変換器をベースとした大規模言語モデル(LLM)は、長期のコンテキストをモデル化する際に性能が低下する。 本研究では,LLMが深呼吸を可能とし,個々のテキストチャンクに含まれる情報を要約する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T15:50:10Z)
• Dissecting Query-Key Interaction in Vision Transformers [4.743574336827573]
  視覚変換器における自己注意はしばしば知覚的なグループ化を行うと考えられている。 相互作用行列の特異値分解による問合せキーの相互作用の解析を行う。
  論文  参考訳（メタデータ） (2024-04-04T20:06:07Z)
• WatME: Towards Lossless Watermarking Through Lexical Redundancy [58.61972059246715]
  本研究では,認知科学レンズを用いた大規模言語モデル(LLM)の異なる機能に対する透かしの効果を評価する。 透かしをシームレスに統合するための相互排他型透かし(WatME)を導入する。
  論文  参考訳（メタデータ） (2023-11-16T11:58:31Z)
• Attention-likelihood relationship in transformers [2.8304391396200064]
  我々は、大言語モデル(LLM)が文脈外単語をどのように表現しているかを分析し、その意味を捉えるために、与えられた文脈への依存を調査する。 我々の可能性誘導型テキスト摂動は、トランスフォーマーベース言語モデルにおけるトークン確率と注意値の相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-03-15T00:23:49Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。