論文の概要: Explaining black box text modules in natural language with language models

• arxiv url: http://arxiv.org/abs/2305.09863v2
• Date: Wed, 15 Nov 2023 17:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 20:37:39.161474
• Title: Explaining black box text modules in natural language with language models
• Title（参考訳）: 自然言語におけるブラックボックステキストモジュールと言語モデル
• Authors: Chandan Singh, Aliyah R. Hsu, Richard Antonello, Shailee Jain, Alexander G. Huth, Bin Yu, Jianfeng Gao
• Abstract要約: Blackbox" は、モジュールの入出力のみにアクセス可能であることを示している。 SASC」は、テキストモジュールを取り込み、モジュールの選択性に関する自然言語の説明と、その説明がどの程度信頼できるかのスコアを返す手法である。 言語刺激に対する個々のfMRIボクセルの反応について,SASCが説明を生成できることを示す。
• 参考スコア（独自算出の注目度）: 86.14329261605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable prediction performance for a growing array of tasks. However, their rapid proliferation and increasing opaqueness have created a growing need for interpretability. Here, we ask whether we can automatically obtain natural language explanations for black box text modules. A "text module" is any function that maps text to a scalar continuous value, such as a submodule within an LLM or a fitted model of a brain region. "Black box" indicates that we only have access to the module's inputs/outputs. We introduce Summarize and Score (SASC), a method that takes in a text module and returns a natural language explanation of the module's selectivity along with a score for how reliable the explanation is. We study SASC in 3 contexts. First, we evaluate SASC on synthetic modules and find that it often recovers ground truth explanations. Second, we use SASC to explain modules found within a pre-trained BERT model, enabling inspection of the model's internals. Finally, we show that SASC can generate explanations for the response of individual fMRI voxels to language stimuli, with potential applications to fine-grained brain mapping. All code for using SASC and reproducing results is made available on Github.
• Abstract（参考訳）: 大規模言語モデル (LLM) は,タスクの増大に対して顕著な予測性能を示した。 しかし、その急速な増殖と不透明さの増大は、解釈可能性の必要性を高めている。 ここでは、ブラックボックステキストモジュールの自然言語説明を自動取得できるかどうかを問う。 テキストモジュール(text module)は、llm内のサブモジュールや脳領域の適合モデルなど、テキストをスカラー連続値にマッピングする関数である。 ブラックボックス"は、モジュールの入出力のみにアクセス可能であることを示している。 本稿では,テキストモジュールを取り込み,モジュールの選択性に関する自然言語説明と,その説明がどの程度信頼できるかを示すスコアを返す方法であるsumer and score (sasc)を提案する。 我々はSASCを3つの文脈で研究した。 まず, 合成モジュール上でSASCを評価し, 多くの場合, 基礎的真理説明を復元する。 第二に、SASCを用いて、事前訓練されたBERTモデル内のモジュールを説明し、モデルの内部の検査を可能にする。 最後に、sscは言語刺激に対する個々のfmriボクセルの反応の説明を生成できることを示し、脳の詳細なマッピングへの応用の可能性を示した。 SASCの使用と結果の再生に関するすべてのコードはGithubで公開されている。

関連論文リスト

• GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs [64.49176353858792]
  本稿では,モジュールの増殖・再利用による生成的ニューロシンボリック視覚推論を提案する。 提案モデルは,視覚的質問応答や表現理解の参照など,標準的なタスクに対して競合的に機能する。 いくつかのトレーニング例を観察し、モジュールを再使用することで、新しい視覚的推論タスクに適応することができる。
  論文  参考訳（メタデータ） (2023-11-08T18:59:05Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Learning to Collocate Visual-Linguistic Neural Modules for Image Captioning [80.59607794927363]
  視覚言語ニューラルモジュール(LNCVM)の協調学習のための新しいイメージキャプタを提案する。 VQAで広く使われているニューラルモジュールネットワークとは異なり、視覚言語モジュールをコロケーションする作業はより困難である。 私たちのCVLNMはより効果的です。 新しい最先端の129.5 CIDEr-Dを達成し、より堅牢である。 MS-COCOデータセットの実験では、CVLNMの方が効果的であることが示されている。 新しい最先端129.5 CIDErの実現
  論文  参考訳（メタデータ） (2022-10-04T03:09:50Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• Learning to Discretely Compose Reasoning Module Networks for Video Captioning [81.81394228898591]
  ビデオキャプションのための新しい視覚的推論手法であるReasoning Module Networks (RMN)を提案する。 RMNには3つの高度なRM時間的推論と,Gumbel近似を用いた言語的損失によって訓練された動的かつ離散的なモジュールセレクタが採用されている。
  論文  参考訳（メタデータ） (2020-07-17T15:27:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。