Fugu-MT 論文翻訳(概要): Human-interpretable clustering of short-text using large language models

論文の概要: Human-interpretable clustering of short-text using large language models

arxiv url: http://arxiv.org/abs/2405.07278v1
Date: Sun, 12 May 2024 12:55:40 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 17:30:59.175186
Title: Human-interpretable clustering of short-text using large language models
Title（参考訳）: 大規模言語モデルを用いた短文の人間解釈可能なクラスタリング
Authors: Justin K. Miller, Tristram J. Alexander,
Abstract要約: 人間の生成したコンテンツをクラスタリングするために,大規模な言語モデルが利用できることを示す。この成功は、人間レビュアーとChatGPTによって検証される。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models have seen extraordinary growth in popularity due to their human-like content generation capabilities. We show that these models can also be used to successfully cluster human-generated content, with success defined through the measures of distinctiveness and interpretability. This success is validated by both human reviewers and ChatGPT, providing an automated means to close the 'validation gap' that has challenged short-text clustering. Comparing the machine and human approaches we identify the biases inherent in each, and question the reliance on human-coding as the 'gold standard'. We apply our methodology to Twitter bios and find characteristic ways humans describe themselves, agreeing well with prior specialist work, but with interesting differences characteristic of the medium used to express identity.
Abstract（参考訳）: 大規模な言語モデルは、人間のライクなコンテンツ生成能力によって、非常に人気が高まっている。これらのモデルは人間の生成したコンテンツをクラスタリングするのにも有効であり、その成功は識別性と解釈可能性の尺度によって定義される。この成功は、人間レビュアーとChatGPTによって検証され、短文クラスタリングに挑戦する‘バリデーションギャップ’を閉じるための自動化された手段を提供する。機械と人間のアプローチを比較して、それぞれに固有のバイアスを特定し、人間のコーディングへの依存を「金の標準」として疑問視する。提案手法をTwitterのバイオスに適用し,従来の専門的な研究とよく一致しているが,アイデンティティを表現するために使用される媒体の特色は興味深い。

関連論文リスト

The Cognitive Capabilities of Generative AI: A Comparative Analysis with Human Benchmarks [17.5336703613751]
本研究は、ウェクスラー成人インテリジェンス尺度(WAIS-IV)における大規模言語モデルと視覚言語モデルと人間のパフォーマンスに対するベンチマークである。ほとんどのモデルは、文字や数字の任意のシーケンスのようなトークンの保存、検索、操作において例外的な機能を示した。これらの長所にもかかわらず、我々はマルチモーダルモデルから知覚推論指標(PRI)の性能が一貫して劣っていることを観察した。
論文参考訳（メタデータ） (2024-10-09T19:22:26Z)
Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
論文参考訳（メタデータ） (2024-07-09T06:11:18Z)
ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness [3.126776200660494]
また,ChatGPTで生成したパラフレーズはより多様であり,少なくともロバストなモデルであることを示す。伝統的に、クラウドソーシングは、さまざまな人間の知性タスクに対するソリューションの獲得に使われてきた。
論文参考訳（メタデータ） (2023-05-22T11:46:32Z)
AI, write an essay for me: A large-scale comparison of human-written versus ChatGPT-generated essays [66.36541161082856]
ChatGPTや同様の生成AIモデルは、何億人ものユーザーを惹きつけている。本研究は,ChatGPTが生成した議論的学生エッセイと比較した。
論文参考訳（メタデータ） (2023-04-24T12:58:28Z)
Auditing Gender Presentation Differences in Text-to-Image Models [54.16959473093973]
我々は、テキスト・ツー・イメージ・モデルにおいて、ジェンダーがどのように異なる形で提示されるかを研究する。入力テキスト中の性指標を探索することにより、プレゼンテーション中心属性の周波数差を定量化する。このような違いを推定する自動手法を提案する。
論文参考訳（メタデータ） (2023-02-07T18:52:22Z)
Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文参考訳（メタデータ） (2023-02-06T10:28:16Z)
COFFEE: Counterfactual Fairness for Personalized Text Generation in Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文参考訳（メタデータ） (2022-10-14T02:29:10Z)
Estimating the Personality of White-Box Language Models [0.589889361990138]
大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
論文参考訳（メタデータ） (2022-04-25T23:53:53Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
On the Use of Linguistic Features for the Evaluation of Generative Dialogue Systems [17.749995931459136]
言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
論文参考訳（メタデータ） (2021-04-13T16:28:00Z)
Quantifying Learnability and Describability of Visual Concepts Emerging in Representation Learning [91.58529629419135]
我々は、ディープニューラルネットワークによって自動的に発見された視覚的なグルーピングを特徴付ける方法を検討する。本稿では、任意の画像グループ化の解釈可能性の定量化に使用できる視覚的学習可能性と記述可能性という2つの概念を紹介する。
論文参考訳（メタデータ） (2020-10-27T18:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。