論文の概要: TDHook: A Lightweight Framework for Interpretability

• arxiv url: http://arxiv.org/abs/2509.25475v1
• Date: Mon, 29 Sep 2025 20:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.310036
• Title: TDHook: A Lightweight Framework for Interpretability
• Title（参考訳）: TDHook: 解釈可能性のための軽量フレームワーク
• Authors: Yoann Poupart,
• Abstract要約: ディープニューラルネットワーク(DNN)の解釈可能性 (Interpretability of Deep Neural Networks, DNN) は、視覚と言語モデルの研究による成長分野である。 私たちは、$texttttensordict$をベースとしたオープンソースで軽量で汎用的な解釈可能性フレームワークであるTDHookを紹介します。 コンピュータビジョン、自然言語処理、強化学習、その他のドメインのためにトレーニングできる複雑な構成モデルを扱うことに焦点を当てている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability of Deep Neural Networks (DNNs) is a growing field driven by the study of vision and language models. Yet, some use cases, like image captioning, or domains like Deep Reinforcement Learning (DRL), require complex modelling, with multiple inputs and outputs or use composable and separated networks. As a consequence, they rarely fit natively into the API of popular interpretability frameworks. We thus present TDHook, an open-source, lightweight, generic interpretability framework based on $\texttt{tensordict}$ and applicable to any $\texttt{torch}$ model. It focuses on handling complex composed models which can be trained for Computer Vision, Natural Language Processing, Reinforcement Learning or any other domain. This library features ready-to-use methods for attribution, probing and a flexible get-set API for interventions, and is aiming to bridge the gap between these method classes to make modern interpretability pipelines more accessible. TDHook is designed with minimal dependencies, requiring roughly half as much disk space as $\texttt{transformer_lens}$, and, in our controlled benchmark, achieves up to a $\times$2 speed-up over $\texttt{captum}$ when running integrated gradients for multi-target pipelines on both CPU and GPU. In addition, to value our work, we showcase concrete use cases of our library with composed interpretability pipelines in Computer Vision (CV) and Natural Language Processing (NLP), as well as with complex models in DRL.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の解釈可能性 (Interpretability of Deep Neural Networks, DNN) は、視覚と言語モデルの研究による成長分野である。 しかし、画像キャプションのようなユースケースや、Deep Reinforcement Learning (DRL)のようなドメインでは、複雑なモデリングが必要で、複数の入力と出力を持つか、構成可能で分離されたネットワークを使用する。 その結果、一般的な解釈可能性フレームワークのAPIにネイティブに適合することは滅多にない。 このフレームワークは$\texttt{tensordict}$に基づいており、任意の$\texttt{torch}$モデルに適用できる。 コンピュータビジョン、自然言語処理、強化学習、その他のドメインのためにトレーニングできる複雑な構成モデルを扱うことに焦点を当てている。 このライブラリは、アトリビューション、プローブ、介入のためのフレキシブルなget-set APIのための使えるメソッドを備えており、モダンな解釈可能性パイプラインをよりアクセスしやすくするために、これらのメソッドクラス間のギャップを埋めることを目指している。 TDHookは最小限の依存関係で設計されており、ディスクスペースは$\texttt{transformer_lens}$の約半分を必要とします。 さらに,我々は,コンピュータビジョン (CV) と自然言語処理 (NLP) の解釈可能性パイプラインと,DRLの複雑なモデルを用いたライブラリの具体的なユースケースを紹介した。

関連論文リスト

• GLiNER2: An Efficient Multi-Task Information Extraction System with Schema-Driven Interface [0.873811641236639]
  我々は、名前付きエンティティ認識、テキスト分類、階層的構造化データ抽出をサポートするために、元のGLiNERアーキテクチャを強化する統一フレームワークであるGLiNER2を提案する。 実験では,抽出タスクと分類タスクの競合性能を実証し,デプロイメントアクセシビリティを大幅に改善した。
  論文  参考訳（メタデータ） (2025-07-24T16:11:14Z)
• Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
  トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。 7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2025-03-11T15:15:54Z)
• pyvene: A Library for Understanding and Improving PyTorch Models via Interventions [79.72930339711478]
  $textbfpyvene$は、さまざまなPyTorchモジュールに対するカスタマイズ可能な介入をサポートするオープンソースライブラリである。 私たちは、$textbfpyvene$が、ニューラルモデルへの介入を実行し、他のモデルとインターバルされたモデルを共有するための統一されたフレームワークを提供する方法を示します。
  論文  参考訳（メタデータ） (2024-03-12T16:46:54Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)
• Scaling Up Models and Data with $\texttt{t5x}$ and $\texttt{seqio}$ [118.04625413322827]
  $texttt5x$と$texttseqio$は、言語モデルの構築とトレーニングのためのオープンソースのソフトウェアライブラリである。 これらのライブラリは、複数のテラバイトのトレーニングデータを持つデータセット上で、数十億のパラメータを持つモデルをトレーニングするために使用されています。
  論文  参考訳（メタデータ） (2022-03-31T17:12:13Z)
• CLEVR Parser: A Graph Parser Library for Geometric Learning on Language Grounded Image Scenes [2.750124853532831]
  CLEVRデータセットは、機械学習(ML)と自然言語処理(NLP)ドメインにおいて、言語基盤の視覚的推論で広く使用されている。 本稿では,CLEVR用のグラフライブラリについて述べる。オブジェクト中心属性と関係抽出の機能を提供し,デュアルモーダル性のための構造グラフ表現の構築を行う。 図書館の下流利用と応用について論じるとともに,NLP研究コミュニティにおける研究の促進について論じる。
  論文  参考訳（メタデータ） (2020-09-19T03:32:37Z)
• Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
  我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。 このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。 分類モデルと非分類モデルの両方に使用できる。
  論文  参考訳（メタデータ） (2020-09-16T18:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。