論文の概要: Good/Evil Reputation Judgment of Celebrities by LLMs via Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2503.14382v1
- Date: Tue, 18 Mar 2025 16:15:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:40.466860
- Title: Good/Evil Reputation Judgment of Celebrities by LLMs via Retrieval Augmented Generation
- Title(参考訳): 検索再生によるLCMによる有名人の善/悪評価評価
- Authors: Rikuto Tsuchida, Hibiki Yokoyama, Takehito Utsuro,
- Abstract要約: 本稿では,大言語モデル(LLM)が,有名人の善悪評価を判断する上で,何が善悪であるかを理解できるかどうかを検討する。
まず、Webページ上の有名人に関する記事からターゲットの有名人に言及する文章を収集する作業に、大きな言語モデル(すなわちChatGPT)を適用する。
検索拡張生成(RAG)の枠組みを適用して,各有名人の側面や記述の良悪さを判断する作業において,大規模言語モデルが極めて有効であることを示す。
- 参考スコア(独自算出の注目度): 1.551190544492585
- License:
- Abstract: The purpose of this paper is to examine whether large language models (LLMs) can understand what is good and evil with respect to judging good/evil reputation of celebrities. Specifically, we first apply a large language model (namely, ChatGPT) to the task of collecting sentences that mention the target celebrity from articles about celebrities on Web pages. Next, the collected sentences are categorized based on their contents by ChatGPT, where ChatGPT assigns a category name to each of those categories. Those assigned category names are referred to as "aspects" of each celebrity. Then, by applying the framework of retrieval augmented generation (RAG), we show that the large language model is quite effective in the task of judging good/evil reputation of aspects and descriptions of each celebrity. Finally, also in terms of proving the advantages of the proposed method over existing services incorporating RAG functions, we show that the proposed method of judging good/evil of aspects/descriptions of each celebrity significantly outperform an existing service incorporating RAG functions.
- Abstract(参考訳): 本研究の目的は,大言語モデル(LLM)が,有名人の善悪の評判を判断する上で,何が善悪であるかを理解できるかどうかを検討することである。
具体的には、まず、Webページ上の有名人に関する記事からターゲットの有名人に言及する文章を収集するタスクに、大きな言語モデル(すなわち、ChatGPT)を適用する。
次に、収集した文は、その内容に基づいてChatGPTによって分類され、ChatGPTは各カテゴリにカテゴリ名を割り当てる。
割り当てられたカテゴリ名は、それぞれの有名人の"アスペクト"と呼ばれる。
そして,RAGの枠組みを適用して,各有名人の側面や記述の良悪な評価を判断する作業において,大規模言語モデルが非常に有効であることを示す。
最後に,RAG機能を取り入れた既存サービスに対して提案手法の利点を証明し,各有名人のアスペクト/記述の善悪を判断する手法がRAG機能を取り入れた既存サービスよりも優れていることを示す。
関連論文リスト
- JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳(メタデータ) (2024-10-31T18:43:12Z) - Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
ユーティリティとトピック関連性は、情報検索において重要な手段である。
本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
論文 参考訳(メタデータ) (2024-06-17T07:52:42Z) - Large Language Models Meet Open-World Intent Discovery and Recognition:
An Evaluation of ChatGPT [37.27411474856601]
Out-of-domain(OOD)インテントディスカバリと一般化インテントディスカバリ(GID)は、オープンワールドインテントセットにクローズドインテントを拡張することを目的としている。
従来の手法は微調整の識別モデルによってそれらに対処する。
ChatGPTはゼロショット設定で一貫したアドバンテージを示すが、細調整されたモデルに比べて依然として不利である。
論文 参考訳(メタデータ) (2023-10-16T08:34:44Z) - Waffling around for Performance: Visual Classification with Random Words
and Broad Concepts [121.60918966567657]
WaffleCLIPはゼロショット視覚分類のためのフレームワークで、LLM生成した記述子をランダムな文字と単語記述子に置き換える。
LLM生成記述子で導入された追加意味論の影響と欠点について、広範囲にわたる実験的研究を行う。
論文 参考訳(メタデータ) (2023-06-12T17:59:48Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳(メタデータ) (2023-05-24T06:19:14Z) - Boosting Weakly-Supervised Temporal Action Localization with Text
Information [94.48602948837664]
本稿では,アクションクラスラベルに基づくテキスト記述を構築するためのテキストセグメンテーション・マイニング(TSM)機構を提案する。
また,VLC (Video-text Language Completion) という生成目的も導入した。
また,提案手法を既存手法にシームレスに適用し,その性能を明確なマージンで向上させることができる。
論文 参考訳(メタデータ) (2023-05-01T00:07:09Z) - Comparative Analysis of CHATGPT and the evolution of language models [0.0]
本稿では,機械翻訳,機械要約,質問応答,言語生成など,NLPにおける一般的な考え方を紹介する。
大規模言語モデルの安全な大規模導入例として,ChatGPTの議論と結果を検証するための戦略をまとめて提示する。
論文 参考訳(メタデータ) (2023-03-28T03:11:28Z) - Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data
and Methodology [68.8836704199096]
コーパスベースの会話インタフェースは、テンプレートベースのエージェントや検索ベースのエージェントよりも多様な自然なレスポンスを生成することができる。
コーパスベースの会話エージェントの生成能力が増大すると、マレヴォレントな反応を分類し、フィルタリングする必要性が生じる。
不適切な内容の認識と分類に関するこれまでの研究は、主にある種のマレヴォレンスに焦点を絞っている。
論文 参考訳(メタデータ) (2020-08-21T22:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。