論文の概要: Scaling up Discovery of Latent Concepts in Deep NLP Models

• arxiv url: http://arxiv.org/abs/2308.10263v2
• Date: Thu, 1 Feb 2024 14:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 19:26:41.647220
• Title: Scaling up Discovery of Latent Concepts in Deep NLP Models
• Title（参考訳）: 深部NLPモデルにおける潜在概念の発見のスケールアップ
• Authors: Majd Hawasly, Fahim Dalvi and Nadir Durrani
• Abstract要約: 本稿では,事前学習モデルにおける符号化概念の発見を大規模データセットやモデルにスケールするクラスタリングアルゴリズムについて検討する。 K平均に基づく概念発見は、得られた概念の質を維持しながら、効率を著しく向上させる。
• 参考スコア（独自算出の注目度）: 19.691027041821076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the revolution caused by deep NLP models, they remain black boxes, necessitating research to understand their decision-making processes. A recent work by Dalvi et al. (2022) carried out representation analysis through the lens of clustering latent spaces within pre-trained models (PLMs), but that approach is limited to small scale due to the high cost of running Agglomerative hierarchical clustering. This paper studies clustering algorithms in order to scale the discovery of encoded concepts in PLM representations to larger datasets and models. We propose metrics for assessing the quality of discovered latent concepts and use them to compare the studied clustering algorithms. We found that K-Means-based concept discovery significantly enhances efficiency while maintaining the quality of the obtained concepts. Furthermore, we demonstrate the practicality of this newfound efficiency by scaling latent concept discovery to LLMs and phrasal concepts.
• Abstract（参考訳）: 深いNLPモデルによる革命にもかかわらず、彼らはブラックボックスのままであり、意思決定プロセスを理解するために研究を必要としている。 dalvi et al. (2022) による最近の研究では、事前学習されたモデル (plms) 内の潜在空間のクラスタリングのレンズを通して表現解析を行ったが、凝集的階層クラスタリングの実行コストが高いため、このアプローチは小規模に制限されている。 本稿では,plm表現における符号化概念の発見を大規模データセットやモデルに拡大するために,クラスタリングアルゴリズムについて検討する。 本稿では,探索された潜在概念の質を評価する指標を提案し,それを用いてクラスタリングアルゴリズムを比較した。 K平均に基づく概念発見は,得られた概念の質を維持しながら効率を著しく向上させることがわかった。 さらに, 潜在概念発見を LLM や phrasal の概念に拡張することにより, この新手法の有効性を示す。

関連論文リスト

• Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding [1.3479499607624648]
  投機的復号化は、ドラフトと検証という2段階のフレームワークを導入することでボトルネックに対処する。 より小さく効率的なモデルが予備のドラフトを生成し、より大きくより洗練されたモデルによって洗練される。 本稿では、投機的復号法を包括的に調査し、それらをドラフト中心およびモデル中心のアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-20T09:46:30Z)
• Amortized Bayesian Multilevel Models [9.831471158899644]
  マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。 シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。 我々は、マルチレベルモデルの確率的分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
  論文  参考訳（メタデータ） (2024-08-23T17:11:04Z)
• Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
  本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。 我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-29T17:02:49Z)
• Unfolding ADMM for Enhanced Subspace Clustering of Hyperspectral Images [43.152314090830174]
  本稿では,スパースサブスペースクラスタリングのためのマルチプライヤの交互方向法(ADMM)に基づく反復解法を展開させることにより,ハイパースペクトル画像(HSI)のための革新的なクラスタリングアーキテクチャを提案する。 提案手法は, 構造保存モジュールの一部として, K近傍近傍のアルゴリズムを用いて, HSIデータの構造特性をよく把握する。
  論文  参考訳（メタデータ） (2024-04-10T15:51:46Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Sparse Linear Concept Discovery Models [11.138948381367133]
  概念ボトルネックモデル(Concept Bottleneck Models, CBM)は、隠蔽層が人間の理解可能な概念に結びついている一般的なアプローチである。 本稿では,Contrastive Language Imageモデルと単一スパース線形層に基づく,シンプルかつ直感的に解釈可能なフレームワークを提案する。 実験により、我々のフレームワークは、最近のCBMアプローチを精度的に上回るだけでなく、一例あたりの疎度も高いことを示す。
  論文  参考訳（メタデータ） (2023-08-21T15:16:19Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Imitation with Neural Density Models [98.34503611309256]
  本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。 提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
  論文  参考訳（メタデータ） (2020-10-19T19:38:36Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。