論文の概要: T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP

• arxiv url: http://arxiv.org/abs/2108.13587v1
• Date: Tue, 31 Aug 2021 02:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-02 03:10:40.234337
• Title: T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
• Title（参考訳）: T3-Vis:NLPのトレーニングおよび微調整変圧器のための視覚分析フレームワーク
• Authors: Raymond Li (1), Wen Xiao (1), Lanjun Wang (2), Hyeju Jang (1), Giuseppe Carenini (1) ((1) University of British Columbia, (2) Huawei Cananda Technologies Co. Ltd.)
• Abstract要約: 本稿では,研究者を支援する視覚分析フレームワークの設計と実装について述べる。 我々のフレームワークは、ユーザーがモデルの異なる面を探索できる直感的な概要を提供する。 これは、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する組込みアルゴリズム群を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are the dominant architecture in NLP, but their training and fine-tuning is still very challenging. In this paper, we present the design and implementation of a visual analytic framework for assisting researchers in such process, by providing them with valuable insights about the model's intrinsic properties and behaviours. Our framework offers an intuitive overview that allows the user to explore different facets of the model (e.g., hidden states, attention) through interactive visualization, and allows a suite of built-in algorithms that compute the importance of model components and different parts of the input sequence. Case studies and feedback from a user focus group indicate that the framework is useful, and suggest several improvements.
• Abstract（参考訳）: トランスフォーマーはNLPの主要なアーキテクチャであるが、トレーニングと微調整は依然として非常に難しい。 本稿では,そのようなプロセスにおける研究者支援のための視覚分析フレームワークの設計と実装について,モデル固有の特性と行動に関する貴重な知見を提供する。 私たちのフレームワークは、インタラクティブな視覚化を通じてモデルの異なる面(例えば隠れた状態、注意)を探索できる直感的な概要を提供し、モデルコンポーネントと入力シーケンスの異なる部分の重要性を計算する一連の組み込みアルゴリズムを可能にします。 ケーススタディとユーザフォーカスグループからのフィードバックは、フレームワークが有用であることを示し、いくつかの改善を提案する。

関連論文リスト

• Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
  本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。 これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
  論文  参考訳（メタデータ） (2024-10-04T10:05:15Z)
• Exploring Representations and Interventions in Time Series Foundation Models [17.224575072056627]
  時系列基礎モデル(TSFM)は、幅広いアプリケーションのための強力なツールであることを約束する。 彼らの内部表現や学習された概念はまだよく理解されていない。 本研究では,様々なTSFMにおける表現の構造と冗長性について検討する。
  論文  参考訳（メタデータ） (2024-09-19T17:11:27Z)
• iNNspector: Visual, Interactive Deep Model Debugging [8.997568393450768]
  本研究では,ディープラーニング実験のデータ空間を構造化する概念的枠組みを提案する。 我々のフレームワークは設計の次元を捉え、このデータを探索可能かつ抽出可能にするためのメカニズムを提案する。 我々は、ディープラーニング実験の追跡を可能にし、データのインタラクティブな可視化を提供するiNNspectorシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:41Z)
• InsightSee: Advancing Multi-agent Vision-Language Models for Enhanced Visual Understanding [12.082379948480257]
  本稿では,複雑な視覚理解シナリオを扱う上で,視覚言語モデルの能力を高めるためのマルチエージェントフレームワークであるInsightSeeを提案する。 このフレームワークは、視覚情報解釈のプロセスを洗練するために統合される記述エージェントと、2つの推論エージェントと決定エージェントとを含む。 このフレームワークは、9つのベンチマークテストのうち6つで最先端のアルゴリズムよりも優れており、マルチモーダル理解が大幅に進歩している。
  論文  参考訳（メタデータ） (2024-05-31T13:56:55Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Visual Analytics for Generative Transformer Models [28.251218916955125]
  本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。 我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
  論文  参考訳（メタデータ） (2023-11-21T08:15:01Z)
• De-fine: Decomposing and Refining Visual Programs with Auto-Feedback [75.62712247421146]
  De-fineは、複雑なタスクを単純なサブタスクに分解し、オートフィードバックを通じてプログラムを洗練する、トレーニング不要のフレームワークである。 様々な視覚的タスクに対する我々の実験は、De-fineがより堅牢なプログラムを生成することを示している。
  論文  参考訳（メタデータ） (2023-11-21T06:24:09Z)
• AttentionViz: A Global View of Transformer Attention [60.82904477362676]
  本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。 提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。 このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
  論文  参考訳（メタデータ） (2023-05-04T23:46:49Z)
• Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
  識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。 提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
  論文  参考訳（メタデータ） (2022-12-28T03:45:56Z)
• SIM-Trans: Structure Information Modeling Transformer for Fine-grained Visual Categorization [59.732036564862796]
  本稿では,オブジェクト構造情報を変換器に組み込んだSIM-Trans(Structure Information Modeling Transformer)を提案する。 提案した2つのモジュールは軽量化されており、任意のトランスフォーマーネットワークにプラグインでき、エンドツーエンドで容易に訓練できる。 実験と解析により,提案したSIM-Transが細粒度視覚分類ベンチマークの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-08-31T03:00:07Z)
• Self-supervised Video Object Segmentation by Motion Grouping [79.13206959575228]
  動きの手がかりを利用して物体をセグメンテーションできるコンピュータビジョンシステムを開発した。 本稿では,光フローフレームを一次オブジェクトと背景に分割するトランスフォーマーの簡単なバリエーションを紹介する。 提案したアーキテクチャを公開ベンチマーク(DAVIS2016, SegTrackv2, FBMS59)で評価する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。