論文の概要: Detection and Interpretability Analysis of Quotation Errors by Large Language Models
- arxiv url: http://arxiv.org/abs/2606.08589v1
- Date: Sun, 07 Jun 2026 12:01:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.282257
- Title: Detection and Interpretability Analysis of Quotation Errors by Large Language Models
- Title（参考訳）: 大規模言語モデルによる引用誤りの検出と解釈可能性解析
- Authors: Bei Huang, Yingyi Zhang, Shenghao Huang, Chengzhi Zhang,
- Abstract要約: 本稿では「引用誤りの自動検出」の課題を提案する。
大言語モデル(LLM)の微調整手法は、引用誤りの自動検出のタスクに適用される。
モデルの出力結果に基づいて 解釈可能性分析を行う。
- 参考スコア（独自算出の注目度）: 3.806421007129287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Purpose - Quotation error refers to the inconsistency between cited information and its original source. This phenomenon leads to a series of negative impacts, such as misinterpretation of the original research, undermining the academic community's collective understanding of relevant issues, and weakening the accuracy and fairness of the citation-based academic evaluation system. Existing studies have shown that quotation error is prevalent in the academic community; moreover, manual verification of quotation error is not only labor-intensive but also inefficient. Therefore, this paper proposes the task of 'automated detection of quotation errors'. Methodology - Adopting a large language model (LLM)-based approach, this paper improves detection performance from two aspects on the basis of existing research: first, employ the fine-tuning approach for LLMs to detect quotation errors; second, incorporating full-text data of the cited literature into dataset construction, and exploring the optimal scheme for building such datasets by comparing three types of full-text integration methods. Based on this, this paper further uses the TokenSHAP tool to conduct interpretability experimental analysis on the model's prediction results. Findings - The fine-tuning approach for LLMs has improved the performance in detecting quotation errors. Among the different methods for incorporating full-text information, the approach based on using the source abstract yielded the best performance. Originality - The fine-tuning approach for large language models (LLMs) is applied to the task of automated detection of quotation errors, and interpretability analysis is conducted on the model's output results.
- Abstract（参考訳）: 目的 - 引用誤りは引用情報と元の情報源の矛盾を指す。
この現象は、オリジナルの研究の誤解釈、学術コミュニティの関連する問題の集合的理解を損なうこと、引用に基づく学術評価システムの正確性と公正性を弱めることなど、一連のネガティブな影響をもたらす。
既存の研究は、引用誤りが学術的コミュニティで普及していることを示しており、また、引用誤りの手作業による検証は労働集約的であるだけでなく、非効率でもある。
そこで本稿では,「引用誤りの自動検出」の課題を提案する。
方法 - 大規模言語モデル(LLM)に基づくアプローチを採用することにより,既存の研究の2つの側面から検出性能を向上させる。まず,LLMの微調整手法を用いて引用された文献の全文データをデータセット構築に組み込むこと,さらに3種類のフルテキスト統合手法を比較することにより,そのようなデータセットを構築するための最適なスキームを探索する。
そこで本研究では,TokenSHAPツールを用いて,モデルの予測結果の解釈可能性に関する実験的解析を行う。
Findings - LLMの微調整アプローチでは、クォーテーションエラーの検出のパフォーマンスが向上した。
フルテキスト情報を組み込む様々な方法の中で、ソースの抽象的使用に基づくアプローチは最高のパフォーマンスを得た。
原性 - 大言語モデル(LLM)の微調整手法を引用誤りの自動検出タスクに適用し、モデルの出力結果に対して解釈可能性分析を行う。
関連論文リスト
- Can Large Language Models Detect Methodological Flaws? Evidence from Gesture Recognition for UAV-Based Rescue Operation Based on Deep Learning [0.0]
我々は、人間中心の小さなデータセット上で、ほぼ完璧な精度を報告しているジェスチャー認識紙を分析した。
評価プロトコルは、非独立的なトレーニングとテストの分割により、主観レベルのデータ漏洩と整合性を示す。
次に、この欠陥が6つの最先端LCMによって独立に検出できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-03-23T11:39:16Z) - Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。
FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。
これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
論文 参考訳（メタデータ） (2025-10-14T20:50:30Z) - A Large-Scale Dataset and Citation Intent Classification in Turkish with LLMs [0.0]
まず、トルコ語による引用意図のデータセットを公開し、目的付けのアノテーションツールで作成する。
次に,Large Language Models (LLMs) を用いた標準インコンテキスト学習の性能評価を行い,手動で設計したプロンプトによる一貫性のない結果によってその効果が制限されることを示した。
最終分類には、複数の最適化されたモデルから出力を集約し、安定かつ信頼性の高い予測を保証するために、重ねられた一般化アンサンブルを用いる。
論文 参考訳（メタデータ） (2025-09-26T05:44:04Z) - Text-ADBench: Text Anomaly Detection Benchmark based on LLMs Embedding [27.02879006439693]
本研究は、総合的な実証的研究を行い、テキスト異常検出のためのベンチマークを導入する。
本研究は,埋め込み型テキスト異常検出の有効性を系統的に評価する。
ベンチマークツールキットをオープンソース化することで、この研究は、堅牢でスケーラブルなテキスト異常検出システムにおける将来の研究の基礎を提供する。
論文 参考訳（メタデータ） (2025-07-16T14:47:41Z) - DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。
DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
論文 参考訳（メタデータ） (2024-08-01T07:08:11Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳（メタデータ） (2023-02-17T16:20:33Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - Code to Comment Translation: A Comparative Study on Model Effectiveness
& Errors [19.653423881863834]
機械翻訳モデルは、コードスニペットを関連する自然言語記述に"翻訳"するために使用される。
このようなモデルのほとんどの評価は、自動参照ベースメトリクスを用いて行われる。
本稿では,スムーズなBLEU-4, METEOR, ROUGE-L機械翻訳指標に基づくソースコード要約モデルを提案する。
実験によって得られた誤り分類において,メトリックベース性能とモデル予測誤差の関係について新たな知見が得られた。
論文 参考訳（メタデータ） (2021-06-15T20:13:14Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。