論文の概要: Can LLMs facilitate interpretation of pre-trained language models?

• arxiv url: http://arxiv.org/abs/2305.13386v1
• Date: Mon, 22 May 2023 18:03:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 21:18:27.137347
• Title: Can LLMs facilitate interpretation of pre-trained language models?
• Title（参考訳）: LLMは事前訓練された言語モデルの解釈を容易にするか?
• Authors: Basel Mousi, Nadir Durrani, Fahim Dalvi
• Abstract要約: 本稿では,事前学習した言語モデルの微粒な解釈分析を可能にするための注釈として,大規模な言語モデルChatGPTを提案する。 文脈化表現に階層的クラスタリングを適用することにより,事前学習言語モデル内の潜在概念を発見する。 以上の結果から,ChatGPTは人間のアノテーションよりも正確で意味的にリッチなアノテーションを生成することが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.814937599104127
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Work done to uncover the knowledge encoded within pre-trained language models, rely on annotated corpora or human-in-the-loop methods. However, these approaches are limited in terms of scalability and the scope of interpretation. We propose using a large language model, ChatGPT, as an annotator to enable fine-grained interpretation analysis of pre-trained language models. We discover latent concepts within pre-trained language models by applying hierarchical clustering over contextualized representations and then annotate these concepts using GPT annotations. Our findings demonstrate that ChatGPT produces accurate and semantically richer annotations compared to human-annotated concepts. Additionally, we showcase how GPT-based annotations empower interpretation analysis methodologies of which we demonstrate two: probing framework and neuron interpretation. To facilitate further exploration and experimentation in this field, we have made available a substantial ConceptNet dataset comprising 39,000 annotated latent concepts.
• Abstract（参考訳）: 事前訓練された言語モデルにエンコードされた知識を明らかにするための作業は、注釈付きコーパスやHuman-in-the-loopメソッドに依存している。 しかし、これらのアプローチはスケーラビリティと解釈範囲で制限されている。 本稿では,事前学習した言語モデルの微粒な解釈分析を可能にするために,大規模な言語モデルChatGPTを提案する。 事前学習された言語モデル内の潜在概念は、文脈化表現に階層的クラスタリングを適用して発見し、GPTアノテーションを使ってアノテーションを付加する。 以上の結果から,ChatGPTは人間のアノテーションよりも正確で意味的にリッチなアノテーションを生成することがわかった。 さらに,GPTをベースとしたアノテーションが解釈分析手法をどのように活用するかを示す。 この分野でさらなる探索と実験を容易にするために、39,000の注釈付き潜在概念からなるConceptNetデータセットを利用可能にした。

関連論文リスト

• Self-supervised Interpretable Concept-based Models for Text Classification [9.340843984411137]
  本稿では,自己教師型解釈可能な概念埋め込みモデル(ICEM)を提案する。 我々は,大規模言語モデルの一般化能力を活用し,概念ラベルを自己管理的に予測する。 ICEMは、完全に教師されたコンセプトベースモデルやエンドツーエンドのブラックボックスモデルと同じようなパフォーマンスを達成するために、自己管理的な方法でトレーニングすることができる。
  論文  参考訳（メタデータ） (2024-06-20T14:04:53Z)
• Understanding Before Recommendation: Semantic Aspect-Aware Review Exploitation via Large Language Models [53.337728969143086]
  レコメンデーションシステムは、クリックやレビューのようなユーザとイテムのインタラクションを利用して表現を学習する。 従来の研究では、様々な側面や意図にまたがるユーザの嗜好をモデル化することで、推奨精度と解釈可能性を改善する。 そこで本研究では,意味的側面と認識的相互作用を明らかにするためのチェーンベースのプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-12-26T15:44:09Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Describe me an Aucklet: Generating Grounded Perceptual Category Descriptions [2.7195102129095003]
  マルチモーダル言語モデルにおいて,カテゴリレベルの知覚的グラウンド化をテストするためのフレームワークを提案する。 我々は、視覚カテゴリーの記述を生成し解釈するために、別々のニューラルネットワークを訓練する。 コミュニケーションの成功が生成モデルの性能問題を露呈することを示します。
  論文  参考訳（メタデータ） (2023-03-07T17:01:25Z)
• ConceptX: A Framework for Latent Concept Analysis [21.760620298330235]
  本稿では,言語モデル(pLM)における潜在表現空間の解釈と注釈付けを行うための,ループ型ヒューマン・イン・ザ・ループ・フレームワークであるConceptXを提案する。 我々は、教師なしの手法を用いて、これらのモデルで学んだ概念を発見し、人間が概念の説明を生成するためのグラフィカルインターフェースを実現する。
  論文  参考訳（メタデータ） (2022-11-12T11:31:09Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。