論文の概要: A Large-Scale Dataset and Citation Intent Classification in Turkish with LLMs

• arxiv url: http://arxiv.org/abs/2509.21907v1
• Date: Fri, 26 Sep 2025 05:44:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.211417
• Title: A Large-Scale Dataset and Citation Intent Classification in Turkish with LLMs
• Title（参考訳）: LLMを用いたトルコにおける大規模データセットとCitation Intent分類
• Authors: Kemal Sami Karaca, Bahaeddin Eravcı,
• Abstract要約: まず、トルコ語による引用意図のデータセットを公開し、目的付けのアノテーションツールで作成する。 次に,Large Language Models (LLMs) を用いた標準インコンテキスト学習の性能評価を行い,手動で設計したプロンプトによる一貫性のない結果によってその効果が制限されることを示した。 最終分類には、複数の最適化されたモデルから出力を集約し、安定かつ信頼性の高い予測を保証するために、重ねられた一般化アンサンブルを用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the qualitative intent of citations is essential for a comprehensive assessment of academic research, a task that poses unique challenges for agglutinative languages like Turkish. This paper introduces a systematic methodology and a foundational dataset to address this problem. We first present a new, publicly available dataset of Turkish citation intents, created with a purpose-built annotation tool. We then evaluate the performance of standard In-Context Learning (ICL) with Large Language Models (LLMs), demonstrating that its effectiveness is limited by inconsistent results caused by manually designed prompts. To address this core limitation, we introduce a programmable classification pipeline built on the DSPy framework, which automates prompt optimization systematically. For final classification, we employ a stacked generalization ensemble to aggregate outputs from multiple optimized models, ensuring stable and reliable predictions. This ensemble, with an XGBoost meta-model, achieves a state-of-the-art accuracy of 91.3\%. Ultimately, this study provides the Turkish NLP community and the broader academic circles with a foundational dataset and a robust classification framework paving the way for future qualitative citation studies.
• Abstract（参考訳）: 引用の質的な意図を理解することは、トルコ語のような不可解な言語に固有の課題をもたらす、学術研究の総合的な評価に不可欠である。 本稿では,この問題に対処するための体系的方法論と基礎的データセットを紹介する。 まず、トルコ語による引用意図のデータセットを公開し、目的付けのアノテーションツールで作成する。 そこで我々は,Large Language Models (LLMs) を用いた標準 In-Context Learning (ICL) の性能評価を行い,手動で設計したプロンプトによる一貫性のない結果によってその効果が制限されることを示した。 そこで我々は,DSPyフレームワーク上に構築されたプログラム可能な分類パイプラインを導入し,迅速な最適化を体系的に自動化する。 最終分類には、複数の最適化されたモデルから出力を集約し、安定かつ信頼性の高い予測を保証するために、重ねられた一般化アンサンブルを用いる。 このアンサンブルはXGBoostメタモデルで、最先端の精度は91.3\%に達する。 最終的に、この研究はトルコのNLPコミュニティと幅広い学術サークルに基礎的なデータセットと堅牢な分類フレームワークを提供し、将来の定性的な引用研究の道を開いた。

関連論文リスト

• Toward Purpose-oriented Topic Model Evaluation enabled by Large Language Models [0.8193467416247519]
  トピック品質の4つの重要な側面にまたがる9つのLarge Language Models(LLM)ベースのメトリクスを利用する目的指向評価フレームワークを導入する。 このフレームワークは、敵対的およびサンプリングベースのプロトコルを通じて検証され、ニュース記事、学術出版物、ソーシャルメディア投稿にまたがるデータセットに適用される。
  論文  参考訳（メタデータ） (2025-09-08T18:46:08Z)
• Integrated ensemble of BERT- and features-based models for authorship attribution in Japanese literary works [2.624902795082451]
  オーサシップ属性(AA)タスクは、テキストから抽出されたスタイリスティックな特徴に基づいた統計データ分析と分類に依存している。 本研究では,AAタスクにおける従来の特徴ベース手法と近代的PLM法を組み合わせた統合的アンサンブルを用いて,小さなサンプルにおいて性能を著しく向上することを目的とした。
  論文  参考訳（メタデータ） (2025-04-11T13:40:50Z)
• MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification [0.19381162067627603]
  本稿では,Language-Independent Data Augmentation (LiDA) とマルチヘッドアテンションに基づく重み付き埋め込みを組み合わせた高度なモデルを提案する。 このアプローチは、データ不足の問題に対処するだけでなく、低リソース言語処理と分類タスクにおける将来の研究の基盤となる。
  論文  参考訳（メタデータ） (2025-02-25T08:53:27Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Investigating a Benchmark for Training-set free Evaluation of Linguistic Capabilities in Machine Reading Comprehension [12.09297288867446]
  合成課題集合上でのトレーニングセット自由設定において最適化モデルを評価するためのフレームワークについて検討する。 生成手法の単純さにもかかわらず、データは自然性や語彙の多様性に関してクラウドソースのデータセットと競合する。 我々は、さらに実験を行い、最先端の言語モデルに基づくMRCシステムが、挑戦セットを正しく成功させるために学習できることを示します。
  論文  参考訳（メタデータ） (2024-08-09T12:23:36Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。