論文の概要: Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.12049v2
• Date: Fri, 24 Jan 2025 22:38:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:11.579777
• Title: Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models
• Title（参考訳）: テキストと大規模言語モデルとのペアワイズ比較のための概念ガイド型チェーン・オブ・サート・プロンプト
• Authors: Patrick Y. Wu, Jonathan Nagler, Joshua A. Tucker, Solomon Messing,
• Abstract要約: 既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータが必要である。 生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発した。 本稿では、Twitter上の特定の政党への反感を反映したスピーチをよりよく理解するために、このアプローチを適用する。
• 参考スコア（独自算出の注目度）: 3.656114607436271
• License:
• Abstract: Existing text scoring methods require a large corpus, struggle with short texts, or require hand-labeled data. We develop a text scoring framework that leverages generative large language models (LLMs) to (1) set texts against the backdrop of information from the near-totality of the web and digitized media, and (2) effectively transform pairwise text comparisons from a reasoning problem to a pattern recognition task. Our approach, concept-guided chain-of-thought (CGCoT), utilizes a chain of researcher-designed prompts with an LLM to generate a concept-specific breakdown for each text, akin to guidance provided to human coders. We then pairwise compare breakdowns using an LLM and aggregate answers into a score using a probability model. We apply this approach to better understand speech reflecting aversion to specific political parties on Twitter, a topic that has commanded increasing interest because of its potential contributions to democratic backsliding. We achieve stronger correlations with human judgments than widely used unsupervised text scoring methods like Wordfish. In a supervised setting, besides a small pilot dataset to develop CGCoT prompts, our measures require no additional hand-labeled data and produce predictions on par with RoBERTa-Large fine-tuned on thousands of hand-labeled tweets. This project showcases the potential of combining human expertise and LLMs for scoring tasks.
• Abstract（参考訳）: 既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータを必要とする。 本研究では,生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発し,(1)Webとデジタルメディアの近未来性からの情報背景にテキストをセットし,(2)推論問題からパターン認識タスクへペアワイズテキスト比較を効果的に変換する。 我々のアプローチであるCGCoTは、研究者が設計した一連のプロンプトをLCMと組み合わせて、人間のコーダーに提供されたガイダンスと同様、各テキストのコンセプト固有のブレークダウンを生成する。 次に、LLMを用いて分解をペアで比較し、確率モデルを用いて回答をスコアに集約する。 我々は、Twitter上の特定の政党への反省を反映したスピーチをよりよく理解するために、このアプローチを適用した。 我々は,Wordfishのような教師なしテキストスコアリング手法よりも,人間の判断と強い相関性を実現する。 教師付き設定では、CGCoTプロンプトを開発するための小さなパイロットデータセットに加えて、追加の手書きデータも必要とせず、何千もの手書きツイートに微調整されたRoBERTa-Largeと同等の予測を生成する。 このプロジェクトは、人間の専門知識とLCMを組み合わせてタスクをスコアリングする可能性を示している。

関連論文リスト

• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Text-Guided Mixup Towards Long-Tailed Image Categorization [7.207351201912651]
  多くの実世界のアプリケーションにおいて、トレーニングデータのためのクラスラベルの周波数分布は、長い尾の分布を示すことができる。 本稿では,事前学習したテキストエンコーダによって認識されるクラス間の意味的関係を利用した,テキスト誘導型ミックスアップ手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T14:37:43Z)
• Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
  我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。 PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。 パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
  論文  参考訳（メタデータ） (2024-05-21T11:22:27Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• A Multi-cascaded Model with Data Augmentation for Enhanced Paraphrase Detection in Short Texts [1.6758573326215689]
  短文のパラフレーズ検出を改善するために,データ拡張戦略とマルチカスケードモデルを提案する。 私たちのモデルは広くて深く、クリーンでノイズの多い短いテキストにまたがってより堅牢性を提供します。
  論文  参考訳（メタデータ） (2019-12-27T12:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。