論文の概要: Multi-Domain ABSA Conversation Dataset Generation via LLMs for Real-World Evaluation and Model Comparison
- arxiv url: http://arxiv.org/abs/2505.24701v1
- Date: Fri, 30 May 2025 15:24:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:53.031964
- Title: Multi-Domain ABSA Conversation Dataset Generation via LLMs for Real-World Evaluation and Model Comparison
- Title（参考訳）: 実世界評価とモデル比較のためのLLMを用いたマルチドメインABSA会話データセット生成
- Authors: Tejul Pandit, Meet Raval, Dhvani Upadhyay,
- Abstract要約: 本稿では,Large Language Models (LLMs) を用いた合成ABSAデータ生成手法を提案する。
GPT-4oを用いて複数の領域に一貫したトピックと感情分布を持つデータを生成するための生成プロセスについて詳述する。
その結果, 合成データの有効性が示され, モデル間での相違点が明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aspect-Based Sentiment Analysis (ABSA) offers granular insights into opinions but often suffers from the scarcity of diverse, labeled datasets that reflect real-world conversational nuances. This paper presents an approach for generating synthetic ABSA data using Large Language Models (LLMs) to address this gap. We detail the generation process aimed at producing data with consistent topic and sentiment distributions across multiple domains using GPT-4o. The quality and utility of the generated data were evaluated by assessing the performance of three state-of-the-art LLMs (Gemini 1.5 Pro, Claude 3.5 Sonnet, and DeepSeek-R1) on topic and sentiment classification tasks. Our results demonstrate the effectiveness of the synthetic data, revealing distinct performance trade-offs among the models: DeepSeekR1 showed higher precision, Gemini 1.5 Pro and Claude 3.5 Sonnet exhibited strong recall, and Gemini 1.5 Pro offered significantly faster inference. We conclude that LLM-based synthetic data generation is a viable and flexible method for creating valuable ABSA resources, facilitating research and model evaluation without reliance on limited or inaccessible real-world labeled data.
- Abstract（参考訳）: Aspect-Based Sentiment Analysis (ABSA)は、意見に関する詳細な洞察を提供するが、しばしば現実世界の会話のニュアンスを反映した多様なラベル付きデータセットの不足に悩まされる。
本稿では,Large Language Models (LLMs) を用いて合成ABSAデータを生成する手法を提案する。
GPT-4oを用いて複数の領域に一貫したトピックと感情分布を持つデータを生成するための生成プロセスについて詳述する。
トピックおよび感情分類タスクにおける3つの最先端LCM(Gemini 1.5 Pro, Claude 3.5 Sonnet, DeepSeek-R1)の性能評価により, 生成データの品質と有用性を評価した。
DeepSeekR1は高い精度を示し、Gemini 1.5 ProとClaude 3.5 Sonnetは強いリコールを示し、Gemini 1.5 Proははるかに高速な推論を提供した。
我々は, LLMを用いた合成データ生成は, 有効なABSA資源の創出方法であり, 限られた, アクセス不能な実世界のラベル付きデータに頼らずに, 研究やモデル評価が容易である,と結論付けた。
関連論文リスト
- Aug2Search: Enhancing Facebook Marketplace Search with LLM-Generated Synthetic Data Augmentation [8.358632499600764]
Aug2Searchは、Generative AI(GenAI)モデルによって生成された合成データを活用するEBRベースのフレームワークである。
本稿では,GenAI,特にLarge Language Models(LLMs)の高品質な合成データ生成能力について検討する。
Aug2Searchは1億の合成データサンプルを使用して、ROC_AUCの最大4%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-21T22:33:40Z) - An Empirical Study of Validating Synthetic Data for Text-Based Person Retrieval [51.10419281315848]
我々は,テキストベース人検索(TBPR)研究における合成データの可能性を探るため,実証的研究を行った。
本稿では,自動プロンプト構築戦略を導入するクラス間画像生成パイプラインを提案する。
我々は、画像のさらなる編集に生成AIモデルを応用した、クラス内画像拡張パイプラインを開発する。
論文 参考訳（メタデータ） (2025-03-28T06:18:15Z) - Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs [0.0]
本稿では,質問応答対をFactualクラスとConceptualクラスに分類することで,微調整プロセスの改善に焦点をあてる。
2つの異なるLlama-2モデルはこれらの分類に基づいて微調整され、GPT-3.5 TurboやGeminiのような大型モデルを用いて評価される。
以上の結果から,概念データセットでトレーニングされたモデルは,実データセットでトレーニングしたモデルよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2025-03-03T03:26:30Z) - Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。
我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。
推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
論文 参考訳（メタデータ） (2025-02-14T16:16:02Z) - mmE5: Improving Multimodal Multilingual Embeddings via High-quality Synthetic Data [71.352883755806]
マルチモーダル埋め込みモデルは、テキストや画像などの様々なモダリティからデータを統一表現空間にマッピングする能力において、大きな注目を集めている。
しかし、ラベル付きマルチモーダルデータは、しばしば埋め込み性能を妨げる。
近年のアプローチでは、この問題に対処するためにデータ合成を活用しているが、合成データの質は依然として重大なボトルネックとなっている。
論文 参考訳（メタデータ） (2025-02-12T15:03:33Z) - Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。
我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。
モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
論文 参考訳（メタデータ） (2025-02-07T10:01:32Z) - The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。
本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。
我々は,DeepSeek-R1をベンチマークでテストした結果を解析し,この高い評価を得たモデルがもたらす批判的倫理的懸念を明らかにする。
論文 参考訳（メタデータ） (2025-01-20T06:35:01Z) - Multimodal Preference Data Synthetic Alignment with Reward Model [23.978820500281213]
本稿では,DPOトレーニングによる効果的なマルチモーダルアライメントのための人選好のプロキシとして,報酬モデルを用いて合成データを生成する新しいフレームワークを提案する。
実験結果から、生成モデルや報酬モデルのような選択された合成データの統合は、人手による注釈付きデータへの依存を効果的に軽減できることが示された。
論文 参考訳（メタデータ） (2024-12-23T09:29:40Z) - Iterative Data Generation with Large Language Models for Aspect-based Sentiment Analysis [39.57537769578304]
本稿では,ABSAの性能向上を図るために,IDGという系統的反復データ生成フレームワークを提案する。
IDGの中核は、LLMの強力な能力(命令追従、文脈内学習、自己回帰)を最大限に活用して、より流動的で多様な擬似ラベルデータを生成することである。
IDGは5つのベースラインABSAモデルの間で一貫した、重要なパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2024-06-29T07:00:37Z) - Learning from Synthetic Data for Visual Grounding [55.21937116752679]
そこで本研究では,SynGroundが市販のビジョン・アンド・ランゲージモデルのローカライズ能力を向上できることを示す。
SynGroundで生成されたデータは、事前訓練されたALBEFモデルとBLIPモデルのポインティングゲーム精度をそれぞれ4.81%、絶対パーセンテージポイント17.11%向上させる。
論文 参考訳（メタデータ） (2024-03-20T17:59:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。