論文の概要: ferret: a Framework for Benchmarking Explainers on Transformers
- arxiv url: http://arxiv.org/abs/2208.01575v1
- Date: Tue, 2 Aug 2022 16:21:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-03 13:07:03.035777
- Title: ferret: a Framework for Benchmarking Explainers on Transformers
- Title(参考訳): ferret: トランスフォーマーの明示的なベンチマークを行うフレームワーク
- Authors: Giuseppe Attanasio, Eliana Pastor, Chiara Di Bonaventura, Debora Nozza
- Abstract要約: 我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすいPythonライブラリであるferretを紹介した。
統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
- 参考スコア(独自算出の注目度): 12.050401897136497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many interpretability tools allow practitioners and researchers to explain
Natural Language Processing systems. However, each tool requires different
configurations and provides explanations in different forms, hindering the
possibility of assessing and comparing them. A principled, unified evaluation
benchmark will guide the users through the central question: which explanation
method is more reliable for my use case? We introduce ferret, an easy-to-use,
extensible Python library to explain Transformer-based models integrated with
the Hugging Face Hub. It offers a unified benchmarking suite to test and
compare a wide range of state-of-the-art explainers on any text or
interpretability corpora. In addition, ferret provides convenient programming
abstractions to foster the introduction of new explanation methods, datasets,
or evaluation metrics.
- Abstract(参考訳): 多くの解釈ツールにより、実践者や研究者は自然言語処理システムを説明することができる。
しかし、それぞれのツールは異なる構成を必要とし、異なる形式の説明を提供し、それらを評価し比較する可能性を妨げている。
原則化された統一評価ベンチマークは、ユーザーを中央の質問を通して導く:私のユースケースに対して、どの説明方法の方がより信頼できるのか?
我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすく拡張可能なPythonライブラリであるferretを紹介した。
統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
さらにferletは、新しい説明方法、データセット、評価メトリクスの導入を促進するために、便利なプログラミング抽象化を提供する。
関連論文リスト
- Pyreal: A Framework for Interpretable ML Explanations [51.14710806705126]
Pyrealは、さまざまな解釈可能な機械学習説明を生成するシステムである。
Pyrealは、モデルによって期待される機能空間、関連する説明アルゴリズム、および人間のユーザ間でデータと説明を変換する。
我々の研究は、Pyrealが既存のシステムよりも有用な説明を生成することを示した。
論文 参考訳(メタデータ) (2023-12-20T15:04:52Z) - FIND: A Function Description Benchmark for Evaluating Interpretability
Methods [86.80718559904854]
本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。
FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。
本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
論文 参考訳(メタデータ) (2023-09-07T17:47:26Z) - Explanation Selection Using Unlabeled Data for Chain-of-Thought
Prompting [80.9896041501715]
非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。
本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
論文 参考訳(メタデータ) (2023-02-09T18:02:34Z) - Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳(メタデータ) (2022-11-02T17:10:07Z) - Syntax-guided Localized Self-attention by Constituency Syntactic
Distance [26.141356981833862]
本稿では,Transformerのための構文誘導型ローカライズ自己アテンションを提案する。
外部の選挙区から直接文法構造を組み込むことができる。
実験結果から,本モデルによる翻訳性能の向上が期待できることがわかった。
論文 参考訳(メタデータ) (2022-10-21T06:37:25Z) - Analyzing Transformers in Embedding Space [59.434807802802105]
学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。
予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。
我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
論文 参考訳(メタデータ) (2022-09-06T14:36:57Z) - CARLA: A Python Library to Benchmark Algorithmic Recourse and
Counterfactual Explanation Algorithms [6.133522864509327]
CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。
提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。
また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
論文 参考訳(メタデータ) (2021-08-02T11:00:43Z) - LIMEtree: Interactively Customisable Explanations Based on Local
Surrogate Multi-output Regression Trees [21.58324172085553]
LIMEtree と呼ばれるブラックボックス予測のためのモデル非依存的かつポストホックな局所的説明可能性手法を提案する。
画像中の物体検出を訓練したディープニューラルネットワーク上でアルゴリズムを検証し,LIME(Local Interpretable Model-Agnostic Explanations)と比較する。
本手法は局所的忠実度保証を伴い,多種多様な説明型を生成する。
論文 参考訳(メタデータ) (2020-05-04T12:31:29Z) - Generating Hierarchical Explanations on Text Classification via Feature
Interaction Detection [21.02924712220406]
特徴的相互作用を検出することによって階層的な説明を構築する。
このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。
実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
論文 参考訳(メタデータ) (2020-04-04T20:56:37Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳(メタデータ) (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。