論文の概要: KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts

• arxiv url: http://arxiv.org/abs/2403.04758v1
• Date: Thu, 7 Mar 2024 18:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 12:56:44.019587
• Title: KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts
• Title（参考訳）: KnowledgeVIS: ブランク・プリンプの比較による言語モデルの解釈
• Authors: Adam Coscia, Alex Endert
• Abstract要約: 本稿では,言語モデルを解釈するためのヒューマン・イン・ザ・ループ視覚分析システムであるKnowledgeVisを紹介する。 文間の予測を比較することで、KnowledgeVisは、訓練中に学習した言語モデルと自然言語タスクを直感的に結びつける学習された関連性を明らかにする。
• 参考スコア（独自算出の注目度）: 12.131691892960502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent growth in the popularity of large language models has led to their increased usage for summarizing, predicting, and generating text, making it vital to help researchers and engineers understand how and why they work. We present KnowledgeVis, a human-in-the-loop visual analytics system for interpreting language models using fill-in-the-blank sentences as prompts. By comparing predictions between sentences, KnowledgeVis reveals learned associations that intuitively connect what language models learn during training to natural language tasks downstream, helping users create and test multiple prompt variations, analyze predicted words using a novel semantic clustering technique, and discover insights using interactive visualizations. Collectively, these visualizations help users identify the likelihood and uniqueness of individual predictions, compare sets of predictions between prompts, and summarize patterns and relationships between predictions across all prompts. We demonstrate the capabilities of KnowledgeVis with feedback from six NLP experts as well as three different use cases: (1) probing biomedical knowledge in two domain-adapted models; and (2) evaluating harmful identity stereotypes and (3) discovering facts and relationships between three general-purpose models.
• Abstract（参考訳）: 近年の大規模言語モデルの普及により、テキストの要約、予測、生成への利用が増加し、研究者やエンジニアが作業方法や理由を理解する上で不可欠になっている。 本稿では,人間の言語モデル解析システムであるKnowledgeVisについて述べる。 文間の予測を比較することで、knowledgevis氏は、トレーニング中に学習した言語モデルと下流の自然言語タスクを直感的に結びつけ、ユーザが複数のプロンプトなバリエーションの作成とテストを支援し、新しいセマンティッククラスタリング技術を使って予測された単語を分析し、インタラクティブな視覚化を使って洞察を見つける学習関連を明らかにする。 これらの視覚化は、ユーザが個々の予測の可能性と独自性を特定し、プロンプト間の予測セットを比較し、すべてのプロンプト間のパターンと関係を要約する。 6人のnlp専門家からのフィードバックと,(1)2つのドメイン適応モデルにおける生体医学的知識の探索,(2)有害なアイデンティティステレオタイプの評価,(3)3つの汎用モデル間の事実と関係の発見,の3つのユースケースを用いて,知識ビスの能力を示す。

関連論文リスト

• A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation [5.661396828160973]
  本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。 我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。 この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-02T15:26:39Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Learnable Visual Words for Interpretable Image Recognition [70.85686267987744]
  モデル予測動作を2つの新しいモジュールで解釈するLearable Visual Words (LVW)を提案する。 意味的な視覚的単語学習は、カテゴリ固有の制約を緩和し、異なるカテゴリ間で共有される一般的な視覚的単語を可能にする。 6つの視覚的ベンチマーク実験により,提案したLVWの精度とモデル解釈における優れた効果が示された。
  論文  参考訳（メタデータ） (2022-05-22T03:24:45Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Accessible Visualization via Natural Language Descriptions: A Four-Level Model of Semantic Content [6.434361163743876]
  可視化の自然言語記述によって伝達されるセマンティックコンテンツの概念モデルを提案する。 視覚障害者30名,視覚障害者90名を対象に,混合手法による評価を行い,どのセマンティック・コンテンツが最も有用か,それぞれに有意差が認められた。
  論文  参考訳（メタデータ） (2021-10-08T23:37:25Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。