Fugu-MT 論文翻訳(概要): Using Captum to Explain Generative Language Models

論文の概要: Using Captum to Explain Generative Language Models

arxiv url: http://arxiv.org/abs/2312.05491v1
Date: Sat, 9 Dec 2023 07:35:24 GMT
ステータス: 処理完了
システム内更新日: 2023-12-12 20:20:11.047385
Title: Using Captum to Explain Generative Language Models
Title（参考訳）: Captumを使って生成言語モデルを説明する
Authors: Vivek Miglani, Aobo Yang, Aram H. Markosyan, Diego Garcia-Olano, Narine Kokhlikyan
Abstract要約: CaptumはPyTorchのモデル説明可能性のためのライブラリである。本稿では、生成言語モデルの振る舞いを分析するために特別に設計された新機能を紹介する。
参考スコア（独自算出の注目度）: 5.998289777198051
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Captum is a comprehensive library for model explainability in PyTorch, offering a range of methods from the interpretability literature to enhance users' understanding of PyTorch models. In this paper, we introduce new features in Captum that are specifically designed to analyze the behavior of generative language models. We provide an overview of the available functionalities and example applications of their potential for understanding learned associations within generative language models.
Abstract（参考訳）: CaptumはPyTorchのモデル説明可能性のための包括的なライブラリで、解釈可能性の文献から、ユーザがPyTorchモデルを理解するための様々な方法を提供する。本稿では,生成言語モデルの振る舞いを分析するために特別に設計されたcaptumの新機能を紹介する。生成言語モデルにおける学習関連性を理解するために利用可能な機能とその応用例について概説する。

関連論文リスト

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
本稿ではスパース特徴回路の発見と適用方法を紹介する。これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
論文参考訳（メタデータ） (2024-03-28T17:56:07Z)
Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文参考訳（メタデータ） (2023-09-02T22:14:26Z)
SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文参考訳（メタデータ） (2023-07-15T08:33:08Z)
Black-box language model explanation by context length probing [7.526153863886609]
本稿では、因果言語モデルのための新しい説明手法である文脈長探索について述べる。この技術はモデルに依存しず、トークンレベルの確率の計算以上のモデル内部へのアクセスに依存しない。事前学習された大規模言語モデルに文脈長探索を適用し、初期分析と洞察を提供する。
論文参考訳（メタデータ） (2022-12-30T16:24:10Z)
Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文参考訳（メタデータ） (2022-07-21T07:35:18Z)
Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文参考訳（メタデータ） (2022-02-21T18:32:24Z)
Interactively Generating Explanations for Transformer Language Models [14.306470205426526]
トランスフォーマー言語モデルは、多くのNLPタスクにおいて最先端である。最近の手法はブラックボックスモデルに対する解釈可能性と説明可能性を提供することを目的としている。モデルアーキテクチャに直接組み込まれたプロトタイプネットワークを使うことを強調した。
論文参考訳（メタデータ） (2021-09-02T11:34:29Z)
Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。分類モデルと非分類モデルの両方に使用できる。
論文参考訳（メタデータ） (2020-09-16T18:57:57Z)
How Much Knowledge Can You Pack Into the Parameters of a Language Model? [44.81324633069311]
構造化されていないテキストでトレーニングされたニューラルネットワークモデルは、自然言語クエリを使用して暗黙的に知識を格納し、取得することができる。我々は、事前学習したモデルを微調整して、外部の文脈や知識にアクセスせずに質問に答えることにより、このアプローチの実用性を測定する。
論文参考訳（メタデータ） (2020-02-10T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。