論文の概要: Explaining Datasets in Words: Statistical Models with Natural Language Parameters
- arxiv url: http://arxiv.org/abs/2409.08466v1
- Date: Fri, 13 Sep 2024 01:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 18:07:55.079871
- Title: Explaining Datasets in Words: Statistical Models with Natural Language Parameters
- Title（参考訳）: 単語におけるデータセットの説明:自然言語パラメータを持つ統計モデル
- Authors: Ruiqi Zhong, Heng Wang, Dan Klein, Jacob Steinhardt,
- Abstract要約: 本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。
当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
- 参考スコア（独自算出の注目度）: 66.69456696878842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To make sense of massive data, we often fit simplified models and then interpret the parameters; for example, we cluster the text embeddings and then interpret the mean parameters of each cluster. However, these parameters are often high-dimensional and hard to interpret. To make model parameters directly interpretable, we introduce a family of statistical models -- including clustering, time series, and classification models -- parameterized by natural language predicates. For example, a cluster of text about COVID could be parameterized by the predicate "discusses COVID". To learn these statistical models effectively, we develop a model-agnostic algorithm that optimizes continuous relaxations of predicate parameters with gradient descent and discretizes them by prompting language models (LMs). Finally, we apply our framework to a wide range of problems: taxonomizing user chat dialogues, characterizing how they evolve across time, finding categories where one language model is better than the other, clustering math problems based on subareas, and explaining visual features in memorable images. Our framework is highly versatile, applicable to both textual and visual domains, can be easily steered to focus on specific properties (e.g. subareas), and explains sophisticated concepts that classical methods (e.g. n-gram analysis) struggle to produce.
- Abstract（参考訳）: 例えば、テキストの埋め込みをクラスタ化し、各クラスタの平均パラメータを解釈します。
しかし、これらのパラメータはしばしば高次元であり、解釈が難しい。
モデルパラメータを直接解釈するために、自然言語述語によってパラメータ化されるクラスタリング、時系列、分類モデルを含む統計モデルのファミリーを導入する。
例えば、新型コロナウイルスに関するテキストのクラスタは、述語である"discusses COVID"によってパラメータ化できる。
これらの統計モデルを効果的に学習するために、述語パラメータの勾配降下による連続的な緩和を最適化し、言語モデル(LM)を誘導してそれらを識別するモデル非依存アルゴリズムを開発した。
最後に、我々のフレームワークを幅広い問題に適用する: ユーザチャット対話の分類、時間の経過とともにそれらがどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけること、下位値に基づいて数学問題をクラスタリングすること、記憶可能な画像の視覚的特徴を説明すること。
我々のフレームワークは、テキストと視覚の両方に適用可能で、特定の特性(例えばsubareas)に焦点を合わせるのが簡単であり、古典的手法(例えばn-gram解析)が生み出すのに苦労する、洗練された概念を説明する。
関連論文リスト
- CAST: Corpus-Aware Self-similarity Enhanced Topic modelling [16.562349140796115]
CAST: Corpus-Aware Self-similarity Enhanced Topic modelling, a novel topic modelling methodを紹介する。
機能的単語が候補話題語として振る舞うのを防ぐための効果的な指標として自己相似性を見出した。
提案手法は,生成したトピックの一貫性と多様性,およびノイズの多いデータを扱うトピックモデルの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-19T15:27:11Z) - Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳（メタデータ） (2024-05-09T12:03:38Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Contextualized Machine Learning [40.415518395978204]
文脈化された機械学習は、文脈情報と文脈固有のパラメトリックモデルの間のメタ関係にディープラーニングを適用することによって異種関数を推定する。
本稿では、オープンソースのPyTorchパッケージContextualizedMLを紹介する。
論文 参考訳（メタデータ） (2023-10-17T15:23:00Z) - Reimagining Retrieval Augmented Language Models for Answering Queries [23.373952699385427]
本稿では,大規模言語モデルに対する現実性チェックと,比較対象言語モデル検索の可能性を検証する。
このような言語モデルは半パラメトリックであり、モデルがモデルパラメータと外部データソースからの知識を統合して予測を行う。
論文 参考訳（メタデータ） (2023-06-01T18:08:51Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳（メタデータ） (2022-07-21T07:35:18Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳（メタデータ） (2022-06-19T08:55:07Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳（メタデータ） (2022-01-08T00:47:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。