論文の概要: LM-Debugger: An Interactive Tool for Inspection and Intervention in Transformer-Based Language Models

• arxiv url: http://arxiv.org/abs/2204.12130v1
• Date: Tue, 26 Apr 2022 07:51:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 20:01:12.379213
• Title: LM-Debugger: An Interactive Tool for Inspection and Intervention in Transformer-Based Language Models
• Title（参考訳）: lm-debugger : トランスフォーマチック言語モデルの検査と介入のための対話的ツール
• Authors: Mor Geva, Avi Caciularu, Guy Dar, Paul Roit, Shoval Sadde, Micah Shlain, Bar Tamir, Yoav Goldberg
• Abstract要約: 我々は、トランスフォーマーベース言語モデル(LM)のためのインタラクティブデバッガツール、LM-Debuggerを紹介した。 モデルの内部予測プロセスのきめ細かい解釈と、LMの振る舞いを介入するための強力なフレームワークを提供する。 LM-Debuggerは,ネットワーク内のいくつかのベクトルを識別することにより,モデルの振る舞いをユーザの選択方向にシフトさせるのがいかに容易かを示す。
• 参考スコア（独自算出の注目度）: 40.900708012575336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The opaque nature and unexplained behavior of transformer-based language models (LMs) have spurred a wide interest in interpreting their predictions. However, current interpretation methods mostly focus on probing models from outside, executing behavioral tests, and analyzing salience input features, while the internal prediction construction process is largely not understood. In this work, we introduce LM-Debugger, an interactive debugger tool for transformer-based LMs, which provides a fine-grained interpretation of the model's internal prediction process, as well as a powerful framework for intervening in LM behavior. For its backbone, LM-Debugger relies on a recent method that interprets the inner token representations and their updates by the feed-forward layers in the vocabulary space. We demonstrate the utility of LM-Debugger for single-prediction debugging, by inspecting the internal disambiguation process done by GPT2. Moreover, we show how easily LM-Debugger allows to shift model behavior in a direction of the user's choice, by identifying a few vectors in the network and inducing effective interventions to the prediction process. We release LM-Debugger as an open-source tool and a demo over GPT2 models.
• Abstract（参考訳）: トランスフォーマーベースの言語モデル(lms)の不透明な性質と説明できない振る舞いは、その予測を解釈することに対する幅広い関心を喚起した。 しかし、現在の解釈法は主に外部からのモデル探索、行動テストの実行、サリエンス入力の特徴の分析に重点を置いているが、内部予測構築プロセスはほとんど理解されていない。 本研究では,モデルの内部予測プロセスのきめ細かい解釈を提供するトランスフォーマーベースLMの対話型デバッガツールであるLM-Debuggerと,LM動作を介入するための強力なフレームワークについて紹介する。 LM-Debuggerはそのバックボーンについて、内部トークン表現とその更新を語彙空間内のフィードフォワード層によって解釈する最近の方法に依存している。 GPT2による内部曖昧化プロセスの検査により,単一予測デバッグにおけるLM-Debuggerの有用性を実証する。 さらに, LM-Debuggerは, ネットワーク内の数ベクトルを識別し, 予測プロセスへの効果的な介入を誘導することにより, モデル動作をユーザの選択方向にシフトできることを示す。 オープンソースツールとしてLM-Debuggerをリリースし、GPT2モデルのデモを行います。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Detecting out-of-distribution text using topological features of transformer-based language models [0.5735035463793009]
  本稿では,トランスフォーマーに基づく言語モデルからの自己注意マップのトポロジ的特徴を利用して,入力テキストの分布外の検出を行う。 BERT に対する我々のアプローチを評価し,従来の OOD アプローチと比較した。 以上の結果から,本手法はCLS埋め込みよりも優れており,ドメイン内分布サンプルとドメイン外分布サンプルを区別するが,ほぼ同一あるいは同一のデータセットと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-22T02:04:35Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis [128.0532113800092]
  算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。 これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
  論文  参考訳（メタデータ） (2023-05-24T11:43:47Z)
• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Internal language model estimation through explicit context vector learning for attention-based encoder-decoder ASR [19.233720469733797]
  本稿では,Lens-Attend-Spell(LAS)モデルに基づく2つの新しい手法を提案する。 実験の結果,提案手法により推定されたILMは最も低いパープレキシティを実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-26T07:47:27Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models [17.423179212411263]
  Language Interpretability Tool (LIT)は、NLPモデルの可視化と理解のためのオープンソースのプラットフォームである。 LITは、局所的な説明、集約分析、および反ファクト生成を、合理化されたブラウザベースのインターフェースに統合する。
  論文  参考訳（メタデータ） (2020-08-12T06:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。