論文の概要: Evaluating Deduplication Techniques for Economic Research Paper Titles with a Focus on Semantic Similarity using NLP and LLMs
- arxiv url: http://arxiv.org/abs/2410.01141v1
- Date: Wed, 02 Oct 2024 00:43:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:25:52.091825
- Title: Evaluating Deduplication Techniques for Economic Research Paper Titles with a Focus on Semantic Similarity using NLP and LLMs
- Title(参考訳): NLPとLCMを用いた意味的類似性に着目した経済研究用紙の復号化手法の評価
- Authors: Doohee You, Karim Lasri, Samuel Fraiberger,
- Abstract要約: 本研究では, 大規模NLPデータセットの効率的な復号化手法について検討した。
以上の結果から,異なる手法で観察された意味的類似性に基づく重複の頻度が低い可能性が示唆された。
- 参考スコア(独自算出の注目度): 3.736076215794136
- License:
- Abstract: This study investigates efficient deduplication techniques for a large NLP dataset of economic research paper titles. We explore various pairing methods alongside established distance measures (Levenshtein distance, cosine similarity) and a sBERT model for semantic evaluation. Our findings suggest a potentially low prevalence of duplicates based on the observed semantic similarity across different methods. Further exploration with a human-annotated ground truth set is completed for a more conclusive assessment. The result supports findings from the NLP, LLM based distance metrics.
- Abstract(参考訳): 本研究では, 大規模NLPデータセットの効率的な復号化手法について検討した。
我々は,確立された距離測定(Levenshtein distance,cosine similarity)と意味評価のためのsBERTモデルとともに,様々なペアリング手法を探索する。
以上の結果から,異なる手法で観察された意味的類似性に基づく重複の頻度が低い可能性が示唆された。
より決定的な評価のために、人間の注釈付き地上真実セットによるさらなる探索が完了する。
その結果,NLP,LPMに基づく距離測定結果が得られた。
関連論文リスト
- A Comparative Study of Quality Evaluation Methods for Text Summarization [0.5512295869673147]
本稿では,大規模言語モデル(LLM)に基づくテキスト要約評価手法を提案する。
以上の結果から,LLMの評価は人間の評価と密接に一致しているが,ROUGE-2,BERTScore,SummaCなどの広く使用されている自動測定値には一貫性がない。
論文 参考訳(メタデータ) (2024-06-30T16:12:37Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
帰属的有理は帰属的有理数よりも人称有理数とよく一致していることを示す。
さらに,従来の研究で特定されたプロンプトベース手法の忠実度制限は,その崩壊予測と関係があることが示唆された。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。
これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。
本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文 参考訳(メタデータ) (2024-05-24T08:12:30Z) - Expanding Horizons in HCI Research Through LLM-Driven Qualitative
Analysis [3.5253513747455303]
大規模言語モデル(LLM)を用いたHCIにおける定性解析の新しいアプローチを提案する。
以上の結果から,LSMは従来の解析手法と一致しただけでなく,ユニークな知見も得られることが示唆された。
論文 参考訳(メタデータ) (2024-01-07T12:39:31Z) - Insights Into the Nutritional Prevention of Macular Degeneration based
on a Comparative Topic Modeling Approach [0.0]
本研究は, 比較トピックモデリング手法を提案する。
本手法は, 補充栄養成分が黄斑変性(MD)に有益であるか否かを, 広視野で検討した。
論文 参考訳(メタデータ) (2023-09-01T07:53:28Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - "It's a Match!" -- A Benchmark of Task Affinity Scores for Joint
Learning [74.14961250042629]
MTL(Multi-Task Learning)は、その成功の条件を特徴づけることが、ディープラーニングにおいて依然としてオープンな問題である、と約束する。
共同学習におけるタスク親和性の推定は重要な取り組みである。
最近の研究は、訓練条件自体がMTLの結果に重大な影響を与えることを示唆している。
しかし,本研究では,タスク親和性評価手法の有効性を評価するためのベンチマークが欠落している。
論文 参考訳(メタデータ) (2023-01-07T15:16:35Z) - On the role of benchmarking data sets and simulations in method
comparison studies [0.0]
本稿では,シミュレーション研究とベンチマーク研究の相違点と類似点について検討する。
混合手法研究や臨床シナリオ評価など,さまざまな文脈からアイデアを借りる。
論文 参考訳(メタデータ) (2022-08-02T13:47:53Z) - Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the
Research Manifold [88.83876819883653]
我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。
NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
論文 参考訳(メタデータ) (2022-06-20T13:04:23Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳(メタデータ) (2021-03-31T18:28:14Z) - A Discussion on Practical Considerations with Sparse Regression
Methodologies [0.0]
統計科学に掲載された2つの論文は、いくつかのスパース回帰法の比較性能について研究している。
この2つの研究を要約して比較し,ユーザへの明快さと価値の提供を目指す。
論文 参考訳(メタデータ) (2020-11-18T15:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。