論文の概要: T3-Vis: a visual analytic framework for Training and fine-Tuning
Transformers in NLP
- arxiv url: http://arxiv.org/abs/2108.13587v1
- Date: Tue, 31 Aug 2021 02:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 03:10:40.234337
- Title: T3-Vis: a visual analytic framework for Training and fine-Tuning
Transformers in NLP
- Title(参考訳): T3-Vis:NLPのトレーニングおよび微調整変圧器のための視覚分析フレームワーク
- Authors: Raymond Li (1), Wen Xiao (1), Lanjun Wang (2), Hyeju Jang (1),
Giuseppe Carenini (1) ((1) University of British Columbia, (2) Huawei Cananda
Technologies Co. Ltd.)
- Abstract要約: 本稿では,研究者を支援する視覚分析フレームワークの設計と実装について述べる。
我々のフレームワークは、ユーザーがモデルの異なる面を探索できる直感的な概要を提供する。
これは、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する組込みアルゴリズム群を可能にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers are the dominant architecture in NLP, but their training and
fine-tuning is still very challenging. In this paper, we present the design and
implementation of a visual analytic framework for assisting researchers in such
process, by providing them with valuable insights about the model's intrinsic
properties and behaviours. Our framework offers an intuitive overview that
allows the user to explore different facets of the model (e.g., hidden states,
attention) through interactive visualization, and allows a suite of built-in
algorithms that compute the importance of model components and different parts
of the input sequence. Case studies and feedback from a user focus group
indicate that the framework is useful, and suggest several improvements.
- Abstract(参考訳): トランスフォーマーはNLPの主要なアーキテクチャであるが、トレーニングと微調整は依然として非常に難しい。
本稿では,そのようなプロセスにおける研究者支援のための視覚分析フレームワークの設計と実装について,モデル固有の特性と行動に関する貴重な知見を提供する。
私たちのフレームワークは、インタラクティブな視覚化を通じてモデルの異なる面(例えば隠れた状態、注意)を探索できる直感的な概要を提供し、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する一連の組み込みアルゴリズムを可能にします。
ケーススタディとユーザフォーカスグループからのフィードバックは、フレームワークが有用であることを示し、いくつかの改善を提案する。
関連論文リスト
- Analyzing Local Representations of Self-supervised Vision Transformers [36.62752986390125]
各種自己監督型視覚変換器(ViT)の比較分析を行った。
大規模言語モデルに触発されて、微調整をほとんど行わずに様々なコンピュータビジョンタスクを実行するViTの能力について検討する。
論文 参考訳(メタデータ) (2023-12-31T11:38:50Z) - Visual Analytics for Generative Transformer Models [28.251218916955125]
本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。
我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
論文 参考訳(メタデータ) (2023-11-21T08:15:01Z) - De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [81.08213203440634]
De-fineは複雑なタスクを単純なサブタスクに分解し、自動フィードバックによってプログラムを洗練するフレームワークである。
様々な視覚的タスクを対象とした実験により、De-fineはより正確で堅牢なプログラムを作成し、新しいベンチマークをフィールドに設定した。
論文 参考訳(メタデータ) (2023-11-21T06:24:09Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳(メタデータ) (2023-11-06T05:52:29Z) - Exploring Predicate Visual Context in Detecting Human-Object
Interactions [44.937383506126274]
クロスアテンションによる画像特徴の再導入について検討する。
PViCはHICO-DETおよびV-COCOベンチマークにおいて最先端の手法より優れている。
論文 参考訳(メタデータ) (2023-08-11T15:57:45Z) - TimeTuner: Diagnosing Time Representations for Time-Series Forecasting
with Counterfactual Explanations [3.8357850372472915]
本稿では,モデル行動が局所化,定常性,時系列表現の相関とどのように関連しているかをアナリストが理解するために,新しいビジュアル分析フレームワークであるTimeTunerを提案する。
TimeTunerは時系列表現を特徴付けるのに役立ち、機能エンジニアリングのプロセスを導くのに役立ちます。
論文 参考訳(メタデータ) (2023-07-19T11:40:15Z) - AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳(メタデータ) (2023-05-04T23:46:49Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳(メタデータ) (2022-12-28T03:45:56Z) - SIM-Trans: Structure Information Modeling Transformer for Fine-grained
Visual Categorization [59.732036564862796]
本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。
提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。
実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2022-08-31T03:00:07Z) - Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。
本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。
提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
論文 参考訳(メタデータ) (2021-04-15T17:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。