論文の概要: Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging

• arxiv url: http://arxiv.org/abs/2601.05713v1
• Date: Fri, 09 Jan 2026 10:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.949315
• Title: Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
• Title（参考訳）: 拡散テンソルイメージングを用いた単語埋め込みにおける情報フローの可視化
• Authors: Thomas Fabian,
• Abstract要約: 言語モデル(LLM)が自然言語をどのように表現するかを理解することは、自然言語処理研究における中心的な課題である。 本稿では,拡散テンソル画像(DTI)を単語埋め込みに適用することにより,自然言語表現における情報フローの分析と可視化を行う新しいツールを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how large language models (LLMs) represent natural language is a central challenge in natural language processing (NLP) research. Many existing methods extract word embeddings from an LLM, visualise the embedding space via point-plots, and compare the relative positions of certain words. However, this approach only considers single words and not whole natural language expressions, thus disregards the context in which a word is used. Here we present a novel tool for analysing and visualising information flow in natural language expressions by applying diffusion tensor imaging (DTI) to word embeddings. We find that DTI reveals how information flows between word embeddings. Tracking information flows within the layers of an LLM allows for comparing different model structures and revealing opportunities for pruning an LLM's under-utilised layers. Furthermore, our model reveals differences in information flows for tasks like pronoun resolution and metaphor detection. Our results show that our model permits novel insights into how LLMs represent actual natural language expressions, extending the comparison of isolated word embeddings and improving the interpretability of NLP models.
• Abstract（参考訳）: 言語モデル(LLM)が自然言語をどのように表現するかを理解することは、自然言語処理(NLP)研究における中心的な課題である。 LLMから単語埋め込みを抽出し、ポイントプロットを介して埋め込み空間を可視化し、特定の単語の相対的な位置を比較する。 しかし、このアプローチは単一の単語のみを考慮し、全ての自然言語表現を考慮しないため、単語が使用される文脈を無視する。 本稿では,拡散テンソル画像(DTI)を単語埋め込みに適用することにより,自然言語表現における情報フローの分析と可視化を行う新しいツールを提案する。 DTIは単語埋め込み間の情報の流れを明らかにする。 LLMの層内の情報の流れを追跡することで、異なるモデル構造を比較し、LLMの未使用層を刈り取る機会を明らかにすることができる。 さらに,代名詞分解や比喩検出などのタスクにおける情報フローの違いも明らかにした。 この結果から,LLMが実際の自然言語表現をどのように表現するかという新たな知見が得られ,独立した単語埋め込みの比較が拡張され,NLPモデルの解釈可能性が改善された。

関連論文リスト

• LingGym: How Far Are LLMs from Thinking Like Field Linguists? [20.482844306874743]
  本稿ではLingGymについて紹介する。LingGymはメタ言語推論のためのLLMの能力を評価する新しいベンチマークである。 制御された評価タスク:Word-Gloss Inferenceでは、モデルが文脈から欠落した単語と光沢を推測しなければならない。 その結果,構造化言語的手がかりを取り入れることで,全てのモデルにおける推論性能が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2025-11-01T00:59:13Z)
• AlignVLM: Bridging Vision and Language Latent Spaces for Multimodal Document Understanding [79.43306110124875]
  AlignVLMは視覚的特徴をテキスト埋め込みの重み付き平均値にマッピングする視覚テキストアライメント手法である。 実験の結果,AlignVLMは先行アライメント法と比較して最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T13:34:51Z)
• Improving Visual Commonsense in Language Models via Multiple Image Generation [41.565399860320966]
  既存の大規模言語モデル(LLM)は、主にテキストデータのみを使用して訓練されている。 視覚言語モデルは視覚的に指向するタスクに優れており、基本的なコモンセンス推論のような視覚的でないタスクでは失敗することが多い。 この分散は、基本的なテキストベースの言語推論と堅牢な視覚的理解の統合という、重要な課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-06-19T15:17:10Z)
• Bridging Vision and Language Spaces with Assignment Prediction [47.04855334955006]
  VLAPは、事前訓練された視覚モデルと大規模言語モデル(LLM)を橋渡しする新しいアプローチである 2つのモダリティ埋め込み空間を橋渡しするために、確立された単語埋め込みを利用する。 VLAPは、以前の線形変換ベースのアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-15T10:04:15Z)
• IERL: Interpretable Ensemble Representation Learning -- Combining CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
  大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。 近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。 本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
  論文  参考訳（メタデータ） (2023-06-24T05:02:34Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models [7.977161233209228]
  調査では、異なる単語表現モデルとその表現力について調べる。 我々は様々なテキスト表現法を記述し、モデル設計はNLPの文脈で花を咲かせてきた。 ML および DL ベースの分類器,評価指標,およびこれらの単語を異なる NLP タスクに埋め込んだ場合の応用について概説する。
  論文  参考訳（メタデータ） (2020-10-28T15:15:13Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。