論文の概要: Scaled-up Discovery of Latent Concepts in Deep NLP Models

• arxiv url: http://arxiv.org/abs/2308.10263v1
• Date: Sun, 20 Aug 2023 13:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 16:38:08.151673
• Title: Scaled-up Discovery of Latent Concepts in Deep NLP Models
• Title（参考訳）: 深部NLPモデルにおける潜在概念のスケールアップ
• Authors: Majd Hawasly, Fahim Dalvi and Nadir Durrani
• Abstract要約: 事前学習された言語モデル(pLM)は、膨大なテキストデータに対する教師なし学習を通じて複雑なパターンとコンテキスト依存を学習し、NLPタスク全体のブレークスルーを駆動する。 近年の研究では、事前学習されたモデル内の潜在空間のクラスタリングによる表現解析が検討されている。 本研究では,pLMからの表現の符号化された概念発見のスケーリングを目的としたクラスタリングアルゴリズムの比較に焦点をあてる。
• 参考スコア（独自算出の注目度）: 19.691027041821076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pre-trained language models (pLMs) learn intricate patterns and contextual dependencies via unsupervised learning on vast text data, driving breakthroughs across NLP tasks. Despite these achievements, these models remain black boxes, necessitating research into understanding their decision-making processes. Recent studies explore representation analysis by clustering latent spaces within pre-trained models. However, these approaches are limited in terms of scalability and the scope of interpretation because of high computation costs of clustering algorithms. This study focuses on comparing clustering algorithms for the purpose of scaling encoded concept discovery of representations from pLMs. Specifically, we compare three algorithms in their capacity to unveil the encoded concepts through their alignment to human-defined ontologies: Agglomerative Hierarchical Clustering, Leaders Algorithm, and K-Means Clustering. Our results show that K-Means has the potential to scale to very large datasets, allowing rich latent concept discovery, both on the word and phrase level.
• Abstract（参考訳）: 事前学習された言語モデル(pLM)は、膨大なテキストデータに対する教師なし学習を通じて複雑なパターンとコンテキスト依存を学習し、NLPタスク全体のブレークスルーを駆動する。 これらの成果にもかかわらず、これらのモデルはブラックボックスのままであり、意思決定プロセスを理解する研究が必要である。 最近の研究は、事前学習されたモデルにおける潜在空間のクラスタリングによる表現解析を探求している。 しかし,これらの手法はクラスタリングアルゴリズムの計算コストが高いため,スケーラビリティや解釈範囲に制限がある。 本研究は、plmからの表現の符号化概念発見をスケーリングするためにクラスタリングアルゴリズムを比較することに焦点を当てる。 具体的には,包括的階層的クラスタリング,リーダアルゴリズム,k-meansクラスタリングの3つのアルゴリズムを比較して,符号化された概念を人間定義のオントロジーにアライメントすることで明らかにする。 その結果、k-meansは、非常に大きなデータセットにスケールする可能性があり、単語とフレーズのレベルでリッチな潜在概念発見が可能となった。

関連論文リスト

• Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding [1.3479499607624648]
  投機的復号化は、ドラフトと検証という2段階のフレームワークを導入することでボトルネックに対処する。 より小さく効率的なモデルが予備のドラフトを生成し、より大きくより洗練されたモデルによって洗練される。 本稿では、投機的復号法を包括的に調査し、それらをドラフト中心およびモデル中心のアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-20T09:46:30Z)
• Amortized Bayesian Multilevel Models [9.831471158899644]
  マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。 シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。 我々は、マルチレベルモデルの確率的分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
  論文  参考訳（メタデータ） (2024-08-23T17:11:04Z)
• Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
  本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。 我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-29T17:02:49Z)
• Unfolding ADMM for Enhanced Subspace Clustering of Hyperspectral Images [43.152314090830174]
  本稿では,スパースサブスペースクラスタリングのためのマルチプライヤの交互方向法(ADMM)に基づく反復解法を展開させることにより,ハイパースペクトル画像(HSI)のための革新的なクラスタリングアーキテクチャを提案する。 提案手法は, 構造保存モジュールの一部として, K近傍近傍のアルゴリズムを用いて, HSIデータの構造特性をよく把握する。
  論文  参考訳（メタデータ） (2024-04-10T15:51:46Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Imitation with Neural Density Models [98.34503611309256]
  本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。 提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
  論文  参考訳（メタデータ） (2020-10-19T19:38:36Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。