論文の概要: ferret: a Framework for Benchmarking Explainers on Transformers

• arxiv url: http://arxiv.org/abs/2208.01575v1
• Date: Tue, 2 Aug 2022 16:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 13:07:03.035777
• Title: ferret: a Framework for Benchmarking Explainers on Transformers
• Title（参考訳）: ferret: トランスフォーマーの明示的なベンチマークを行うフレームワーク
• Authors: Giuseppe Attanasio, Eliana Pastor, Chiara Di Bonaventura, Debora Nozza
• Abstract要約: 我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすいPythonライブラリであるferretを紹介した。 統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。
• 参考スコア（独自算出の注目度）: 12.050401897136497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many interpretability tools allow practitioners and researchers to explain Natural Language Processing systems. However, each tool requires different configurations and provides explanations in different forms, hindering the possibility of assessing and comparing them. A principled, unified evaluation benchmark will guide the users through the central question: which explanation method is more reliable for my use case? We introduce ferret, an easy-to-use, extensible Python library to explain Transformer-based models integrated with the Hugging Face Hub. It offers a unified benchmarking suite to test and compare a wide range of state-of-the-art explainers on any text or interpretability corpora. In addition, ferret provides convenient programming abstractions to foster the introduction of new explanation methods, datasets, or evaluation metrics.
• Abstract（参考訳）: 多くの解釈ツールにより、実践者や研究者は自然言語処理システムを説明することができる。 しかし、それぞれのツールは異なる構成を必要とし、異なる形式の説明を提供し、それらを評価し比較する可能性を妨げている。 原則化された統一評価ベンチマークは、ユーザーを中央の質問を通して導く:私のユースケースに対して、どの説明方法の方がより信頼できるのか? 我々は、Hugging Face Hubと統合されたTransformerベースのモデルを説明するために、使いやすく拡張可能なPythonライブラリであるferretを紹介した。 統一されたベンチマークスイートを提供し、あらゆるテキストや解釈可能性コーパスの幅広い最先端の説明をテストし比較する。 さらにferletは、新しい説明方法、データセット、評価メトリクスの導入を促進するために、便利なプログラミング抽象化を提供する。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• ir_explain: a Python Library of Explainable IR Methods [2.6746131626710725]
  irexplainは、共通のフレームワーク内でExplainable IR(ExIR)の様々なテクニックを実装するPythonライブラリである。 irexplainは、ポストホックな説明の標準的な3つのカテゴリ、すなわちポイントワイド、ペアワイド、リストワイドの説明をサポートします。 このライブラリは、標準的なテストコレクションで最先端のExIRベースラインを簡単に再現できるように設計されている。
  論文  参考訳（メタデータ） (2024-04-29T09:37:24Z)
• Pyreal: A Framework for Interpretable ML Explanations [51.14710806705126]
  Pyrealは、さまざまな解釈可能な機械学習説明を生成するシステムである。 Pyrealは、モデルによって期待される機能空間、関連する説明アルゴリズム、および人間のユーザ間でデータと説明を変換する。 我々の研究は、Pyrealが既存のシステムよりも有用な説明を生成することを示した。
  論文  参考訳（メタデータ） (2023-12-20T15:04:52Z)
• FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
  本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。 本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
  論文  参考訳（メタデータ） (2023-09-07T17:47:26Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Analyzing Transformers in Embedding Space [59.434807802802105]
  学習したトランスフォーマーの全てのパラメータを埋め込み空間に投影することで解釈する理論解析を提案する。 予め訓練されたモデルと微調整されたモデルの両方のパラメータを埋め込み空間で解釈できることを示す。 我々の発見は、少なくとも部分的には、モデル仕様から抽象化し、埋め込み空間でのみ動作する解釈手法への扉を開く。
  論文  参考訳（メタデータ） (2022-09-06T14:36:57Z)
• Combining Transformers with Natural Language Explanations [13.167758466408825]
  本稿では,外部記憶を利用して自然言語記述を記憶し,それらを分類結果の説明に利用するトランスフォーマーモデルの拡張を提案する。 法的なテキスト分析と議論マイニングという2つの領域を実験的に評価し,分類性能を維持したり改善したりしながら,本手法が関連する説明を得られることを示す。
  論文  参考訳（メタデータ） (2021-09-02T09:17:04Z)
• CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms [6.133522864509327]
  CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。 提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。 また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
  論文  参考訳（メタデータ） (2021-08-02T11:00:43Z)
• Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection [21.02924712220406]
  特徴的相互作用を検出することによって階層的な説明を構築する。 このような説明は、単語とフレーズが階層の異なるレベルでどのように結合されるかを視覚化する。 実験は、モデルに忠実であり、人間に解釈可能な説明を提供する上で、提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-04-04T20:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。