論文の概要: Human-interpretable clustering of short-text using large language models

• arxiv url: http://arxiv.org/abs/2405.07278v2
• Date: Sat, 14 Dec 2024 01:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:30.084728
• Title: Human-interpretable clustering of short-text using large language models
• Title（参考訳）: 大規模言語モデルを用いた短文の人間解釈可能なクラスタリング
• Authors: Justin K. Miller, Tristram J. Alexander,
• Abstract要約: この研究は、大規模言語モデル(LLM)が従来のクラスタリングアプローチの限界を克服できることを示している。 結果として得られたクラスターはより独特で、より人間的に解釈可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Clustering short text is a difficult problem, due to the low word co-occurrence between short text documents. This work shows that large language models (LLMs) can overcome the limitations of traditional clustering approaches by generating embeddings that capture the semantic nuances of short text. In this study clusters are found in the embedding space using Gaussian Mixture Modelling (GMM). The resulting clusters are found to be more distinctive and more human-interpretable than clusters produced using the popular methods of doc2vec and Latent Dirichlet Allocation (LDA). The success of the clustering approach is quantified using human reviewers and through the use of a generative LLM. The generative LLM shows good agreement with the human reviewers, and is suggested as a means to bridge the `validation gap' which often exists between cluster production and cluster interpretation. The comparison between LLM-coding and human-coding reveals intrinsic biases in each, challenging the conventional reliance on human coding as the definitive standard for cluster validation.
• Abstract（参考訳）: 短いテキスト間の単語共起が低いため、短いテキストのクラスタリングは難しい問題である。 この研究は、大規模言語モデル(LLM)が、短いテキストの意味的ニュアンスをキャプチャする埋め込みを生成することによって、従来のクラスタリングアプローチの限界を克服できることを示している。 本研究では, ガウス混合モデル (GMM) を用いて, 埋め込み空間にクラスタを配置する。 結果として得られたクラスターは、doc2vec や Latent Dirichlet Allocation (LDA) の一般的な方法を用いて生成されるクラスタよりも、より独特で、より人間的に解釈可能であることが判明した。 クラスタリング手法の成功は、ヒトレビュアーとジェネレーションLLMを用いて定量化される。 生成LDMは、ヒトのレビュアーと良好な一致を示し、クラスタ生成とクラスタ解釈の間にしばしば存在する「バリデーションギャップ」を橋渡しする方法として提案されている。 LLMコーディングと人間のコーディングを比較すると、それぞれ固有のバイアスが示され、クラスタバリデーションの決定的な標準として、従来の人間のコーディングへの依存に挑戦する。

関連論文リスト

• The Cognitive Capabilities of Generative AI: A Comparative Analysis with Human Benchmarks [17.5336703613751]
  本研究は、ウェクスラー成人インテリジェンス尺度(WAIS-IV)における大規模言語モデルと視覚言語モデルと人間のパフォーマンスに対するベンチマークである。 ほとんどのモデルは、文字や数字の任意のシーケンスのようなトークンの保存、検索、操作において例外的な機能を示した。 これらの長所にもかかわらず、我々はマルチモーダルモデルから知覚推論指標(PRI)の性能が一貫して劣っていることを観察した。
  論文  参考訳（メタデータ） (2024-10-09T19:22:26Z)
• Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
  アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。 本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
  論文  参考訳（メタデータ） (2024-07-09T06:11:18Z)
• ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness [3.126776200660494]
  また,ChatGPTで生成したパラフレーズはより多様であり,少なくともロバストなモデルであることを示す。 伝統的に、クラウドソーシングは、さまざまな人間の知性タスクに対するソリューションの獲得に使われてきた。
  論文  参考訳（メタデータ） (2023-05-22T11:46:32Z)
• AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
  ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。 本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
  論文  参考訳（メタデータ） (2023-04-24T12:58:28Z)
• Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
  我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。 入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。 このような違いを推定する自動手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T18:52:22Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• COFFEE: Counterfactual Fairness for Personalized Text Generation in Explainable Recommendation [56.520470678876656]
  ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。 説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-14T02:29:10Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• On the Use of Linguistic Features for the Evaluation of Generative Dialogue Systems [17.749995931459136]
  言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。 この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。 特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
  論文  参考訳（メタデータ） (2021-04-13T16:28:00Z)
• Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
  我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。 本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
  論文  参考訳（メタデータ） (2020-10-27T18:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。