論文の概要: InTraVisTo: Inside Transformer Visualisation Tool

• arxiv url: http://arxiv.org/abs/2507.13858v1
• Date: Fri, 18 Jul 2025 12:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.278512
• Title: InTraVisTo: Inside Transformer Visualisation Tool
• Title（参考訳）: InTraVisTo:内部のトランスフォーマー可視化ツール
• Authors: Nicolò Brunello, Davide Rigamonti, Andrea Sassella, Vincenzo Scotti, Mark James Carman,
• Abstract要約: 本稿では,Transformer ベースの LLM で各トークンを生成する計算過程を研究者が調査・追跡できるように設計された新しいツール InTraVisTo を紹介する。 InTraVisToは、Transformerモデルの内部状態と、モデルの異なるレイヤにわたるさまざまなコンポーネント間の情報フローの両方を視覚化する。
• 参考スコア（独自算出の注目度）: 0.19573380763700712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reasoning capabilities of Large Language Models (LLMs) have increased greatly over the last few years, as have their size and complexity. Nonetheless, the use of LLMs in production remains challenging due to their unpredictable nature and discrepancies that can exist between their desired behavior and their actual model output. In this paper, we introduce a new tool, InTraVisTo (Inside Transformer Visualisation Tool), designed to enable researchers to investigate and trace the computational process that generates each token in a Transformer-based LLM. InTraVisTo provides a visualization of both the internal state of the Transformer model (by decoding token embeddings at each layer of the model) and the information flow between the various components across the different layers of the model (using a Sankey diagram). With InTraVisTo, we aim to help researchers and practitioners better understand the computations being performed within the Transformer model and thus to shed some light on internal patterns and reasoning processes employed by LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力は、そのサイズと複雑さとともに、ここ数年で大幅に増大しています。 それでも、所望の振る舞いと実際のモデル出力の間に存在する予測不可能な性質と不一致のため、生産におけるLLMの使用は依然として困難である。 本稿では,Transformer ベースの LLM で各トークンを生成する計算過程を研究者が調査・追跡できるように,新しいツール InTraVisTo (Inside Transformer Visualisation Tool) を提案する。 InTraVisToは、Transformerモデルの内部状態(モデルの各レイヤにトークンの埋め込みをデコードすることで)と、モデルの異なるレイヤ(サンキー図)にまたがるさまざまなコンポーネント間の情報フローの両方を視覚化する。 InTraVisToでは、研究者や実践者がTransformerモデル内で実行される計算をよりよく理解し、LCMの内部パターンや推論プロセスに光を当てることを目的としている。

関連論文リスト

• The Scalability of Simplicity: Empirical Analysis of Vision-Language Learning with a Single Transformer [68.71557348281007]
  本稿では,単一変圧器統合多モーダル大言語モデル(MLLM)であるSAILを紹介する。 事前訓練された視覚変換器(ViT)に依存している既存のモジュール型MLLMとは異なり、SAILは別個の視覚エンコーダを必要としない。 我々は,SAILの特性(スケーラビリティ,クロスモーダル情報フローパターン,視覚表現能力など)をモジュール型MLLMと体系的に比較した。
  論文  参考訳（メタデータ） (2025-04-14T17:50:20Z)
• A Survey on Large Language Models from Concept to Implementation [4.219910716090213]
  近年のLarge Language Models (LLM) の進歩により、自然言語処理(NLP)アプリケーションの範囲が拡大している。 本稿では,これらのモデルの多面的応用について検討し,GPTシリーズに着目した。 この調査は、コーディングや問題解決といった従来のタスクに革命をもたらす人工知能(AI)駆動ツールの変革的な影響に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-27T19:35:41Z)
• Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey [18.930417261395906]
  トランスフォーマーベースの大規模言語モデル(LLM)は、知識ベース、ヒューマンインタフェース、動的エージェントなど様々な分野に適用されている。 本稿では,トランスフォーマーをベースとしたLLMアーキテクチャの最近の進歩について,LLMの長期的コンテキスト能力の向上を目的とした調査を行う。
  論文  参考訳（メタデータ） (2023-11-21T04:59:17Z)
• Understanding Addition in Transformers [2.07180164747172]
  本稿では,n桁整数加算を行うために訓練された1層トランスフォーマーモデルの包括的解析を行う。 提案手法は,各桁を対象とする並列ストリームに分割し,各桁の異なる位置に合わせて最適化されたアルゴリズムを用いることを示唆している。
  論文  参考訳（メタデータ） (2023-10-19T19:34:42Z)
• Holistically Explainable Vision Transformers [136.27303006772294]
  本稿では,B-cos変換器を提案する。 具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。 提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
  論文  参考訳（メタデータ） (2023-01-20T16:45:34Z)
• VL-InterpreT: An Interactive Visualization Tool for Interpreting Vision-Language Transformers [47.581265194864585]
  視覚とマルチモーダル変換器の内部機構はほとんど不透明である。 これらの変圧器の成功により、その内部動作を理解することがますます重要になっている。 マルチモーダルトランスにおける注目や隠された表現を解釈するための対話型可視化を提供するVL-InterpreTを提案する。
  論文  参考訳（メタデータ） (2022-03-30T05:25:35Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
  VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。 VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
  論文  参考訳（メタデータ） (2020-11-09T15:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。