論文の概要: Transformer Explainer: Interactive Learning of Text-Generative Models

• arxiv url: http://arxiv.org/abs/2408.04619v1
• Date: Thu, 8 Aug 2024 17:49:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:48:21.031322
• Title: Transformer Explainer: Interactive Learning of Text-Generative Models
• Title（参考訳）: Transformer Explainer:テキスト生成モデルの対話型学習
• Authors: Aeree Cho, Grace C. Kim, Alexander Karpekov, Alec Helbling, Zijie J. Wang, Seongmin Lee, Benjamin Hoover, Duen Horng Chau,
• Abstract要約: Transformer Explainerは、GPT-2モデルを通じてTransformerについて学ぶために非専門家向けに設計されたインタラクティブな可視化ツールである。 ライブのGPT-2インスタンスをユーザのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータの協調動作をリアルタイムで観察することを可能にする。
• 参考スコア（独自算出の注目度）: 65.91049787390692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have revolutionized machine learning, yet their inner workings remain opaque to many. We present Transformer Explainer, an interactive visualization tool designed for non-experts to learn about Transformers through the GPT-2 model. Our tool helps users understand complex Transformer concepts by integrating a model overview and enabling smooth transitions across abstraction levels of mathematical operations and model structures. It runs a live GPT-2 instance locally in the user's browser, empowering users to experiment with their own input and observe in real-time how the internal components and parameters of the Transformer work together to predict the next tokens. Our tool requires no installation or special hardware, broadening the public's education access to modern generative AI techniques. Our open-sourced tool is available at https://poloclub.github.io/transformer-explainer/. A video demo is available at https://youtu.be/ECR4oAwocjs.
• Abstract（参考訳）: トランスフォーマーは機械学習に革命をもたらしたが、内部の動作は多くの人にとって不透明だ。 GPT-2モデルを用いてトランスフォーマーについて学習するために,非エキスパート向けに設計されたインタラクティブな可視化ツールであるTransformer Explainerを提案する。 本ツールは,モデル概要を統合し,数学的操作やモデル構造を抽象化したスムーズな遷移を可能にすることで,複雑なトランスフォーマー概念の理解を支援する。 ライブのGPT-2インスタンスをユーザーのブラウザでローカルに実行し、ユーザが自身の入力を実験し、Transformerの内部コンポーネントとパラメータがどのように連携して次のトークンを予測するかをリアルタイムで観察できるようにする。 私たちのツールはインストールも特別なハードウェアも必要とせず、現代的な生成AI技術への一般大衆の教育アクセスを拡大します。 当社のオープンソースツールはhttps://poloclub.github.io/transformer-explainer/で公開しています。 ビデオデモはhttps://youtu.be/ECR4oAwocjs.comで公開されている。

関連論文リスト

• Introduction to Transformers: an NLP Perspective [59.0241868728732]
  本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。 これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
  論文  参考訳（メタデータ） (2023-11-29T13:51:04Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• A Closer Look at In-Context Learning under Distribution Shifts [24.59271215602147]
  線形回帰の単純かつ基本的なタスクのレンズから、文脈内学習の一般性と限界をよりよく理解することを目的としている。 変圧器とセットベース分布の両方が, 正規最小二乗(OLS)の性能をより密にエミュレートし, 文脈内学習による分布評価を行うことがわかった。 トランスフォーマーはまた、セットベースの分散がフェーターとなる、軽微な分散シフトに対するレジリエンスも向上している。
  論文  参考訳（メタデータ） (2023-05-26T07:47:21Z)
• An Introduction to Transformers [23.915718146956355]
  Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。 本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
  論文  参考訳（メタデータ） (2023-04-20T14:54:19Z)
• Holistically Explainable Vision Transformers [136.27303006772294]
  本稿では,B-cos変換器を提案する。 具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。 提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
  論文  参考訳（メタデータ） (2023-01-20T16:45:34Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Shifted Chunk Transformer for Spatio-Temporal Representational Learning [24.361059477031162]
  我々は、純粋な自己注意ブロックを持つシフトチャンク変換器を構築する。 このトランスフォーマーは、小さなパッチからグローバルなビデオクリップまで、階層的な時間的特徴を学習することができる。 Kinetics, Kinetics-600, UCF101, HMDB51の最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2021-08-26T04:34:33Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
  我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。 可視化により,変換因子によって得られた階層的意味構造を実演する。 この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
  論文  参考訳（メタデータ） (2021-03-29T20:51:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。