論文の概要: Thermostat: A Large Collection of NLP Model Explanations and Analysis Tools

• arxiv url: http://arxiv.org/abs/2108.13961v1
• Date: Tue, 31 Aug 2021 16:42:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 16:14:57.912985
• Title: Thermostat: A Large Collection of NLP Model Explanations and Analysis Tools
• Title（参考訳）: thermostat: nlpモデルの説明と分析ツールの大規模なコレクション
• Authors: Nils Feldhus, Robert Schwarzenberg, Sebastian M\"oller
• Abstract要約: Thermostatは、異なるNLPタスクにまたがる最先端のモデルを決定するために、200万以上の説明に簡単にアクセスできる。 データセットはコンパイルに10万時間(約1年)を要した。 実装の詳細を整理することなく、モデルやデータセット、説明器を調べて比較することができる。
• 参考スコア（独自算出の注目度）: 0.9539495585692009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the language domain, as in other domains, neural explainability takes an ever more important role, with feature attribution methods on the forefront. Many such methods require considerable computational resources and expert knowledge about implementation details and parameter choices. To facilitate research, we present Thermostat which consists of a large collection of model explanations and accompanying analysis tools. Thermostat allows easy access to over 200k explanations for the decisions of prominent state-of-the-art models spanning across different NLP tasks, generated with multiple explainers. The dataset took over 10k GPU hours (> one year) to compile; compute time that the community now saves. The accompanying software tools allow to analyse explanations instance-wise but also accumulatively on corpus level. Users can investigate and compare models, datasets and explainers without the need to orchestrate implementation details. Thermostat is fully open source, democratizes explainability research in the language domain, circumvents redundant computations and increases comparability and replicability.
• Abstract（参考訳）: 言語領域では、他の領域と同様に、神経説明可能性(neural explanationability)がより重要な役割を果たす。 このような手法の多くは、実装の詳細とパラメータの選択についてかなりの計算資源と専門知識を必要とする。 研究を容易にするために,多数のモデル説明と付随する分析ツールからなるサーモスタットを提案する。 Thermostatは、さまざまなNLPタスクにまたがる最先端モデルの決定に対して、複数の説明者が生成する200万以上の説明に簡単にアクセスできる。 データセットはコンパイルに10kgpu時間(→1年)を要し、コミュニティが節約した計算時間を計算した。 付随するソフトウェアツールは、説明をインスタンスごとに分析できるが、コーパスレベルでは累積的でもある。 実装の詳細を整理することなく、モデルやデータセット、説明器を調べて比較することができる。 Thermostatは完全にオープンソースで、言語領域における説明可能性の研究を民主化し、冗長な計算を回避し、互換性と複製性を高める。

関連論文リスト

• XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
  時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。 伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。 時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
  論文  参考訳（メタデータ） (2024-10-18T05:16:39Z)
• Exploring Scalability in Large-Scale Time Series in DeepVATS framework [3.8436076642278754]
  DeepVATSは、Deep Learning(Deep)とVisual Analytics(VA)をマージして、大規模時系列データ(TS)の分析を行うツールである。 Rで開発されたDeep Learningモジュールは、StorageモジュールへのデータセットとDeep Learningモデルのロードを管理する。 本稿では,このツールを紹介し,ログ解析によるスケーラビリティについて検討する。
  論文  参考訳（メタデータ） (2024-08-08T15:30:48Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Reason to explain: Interactive contrastive explanations (REASONX) [5.156484100374058]
  制約論理プログラミング(CLP)に基づく説明ツールREASONXについて述べる。 REASONXは、背景知識によって拡張できる対話的な対照的な説明を提供する。 実例と論証的決定ルールを計算し、最も近い論証的な例を出力する。
  論文  参考訳（メタデータ） (2023-05-29T15:13:46Z)
• Latent Variable Method Demonstrator -- Software for Understanding Multivariate Data Analytics Algorithms [0.0]
  この記事では、潜在変数の方法を教え、学習し、理解するための対話型ソフトウェア、Latent Variable Demonstrator(LAVADE)について説明する。 ユーザは、Partial Least Squares(PLS)やPrincipal Component Regression(PCR)といった遅延変数メソッドと他の回帰メソッドをインタラクティブに比較することができる。 このソフトウェアにはデータ生成方法と3つの化学プロセスデータセットが含まれており、データセットの結果を異なるレベルの複雑さで比較することができる。
  論文  参考訳（メタデータ） (2022-05-17T07:02:41Z)
• Rissanen Data Analysis: Examining Dataset Characteristics via Description Length [78.42578316883271]
  特定の能力が与えられたデータの正確なモデルを達成するのに役立つかどうかを判断する手法を提案する。 最小プログラム長は計算不可能であるため,ラベルの最小記述長(MDL)をプロキシとして推定する。 我々は、mdlの父にちなんで、rissanen data analysis (rda) と呼ぶ。
  論文  参考訳（メタデータ） (2021-03-05T18:58:32Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models [17.423179212411263]
  Language Interpretability Tool (LIT)は、NLPモデルの可視化と理解のためのオープンソースのプラットフォームである。 LITは、局所的な説明、集約分析、および反ファクト生成を、合理化されたブラウザベースのインターフェースに統合する。
  論文  参考訳（メタデータ） (2020-08-12T06:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。