論文の概要: Large Language Models for Citation Function Classification
- arxiv url: http://arxiv.org/abs/2607.17738v1
- Date: Mon, 20 Jul 2026 09:29:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.574446
- Title: Large Language Models for Citation Function Classification
- Title（参考訳）: クエンテーション関数分類のための大規模言語モデル
- Abstract要約: サイテーション関数分類は、科学出版物間の関係を理解する上で重要な役割を担い、書誌分析の進歩に寄与する。
本研究は,多言語多言語言語モデル (LLM) を引用関数分類に応用した最初の総合的評価手法である。
我々の微調整されたFalcon 7Bモデルは、ACL-ARC上で73.3%のマクロF1スコアを達成する。
- 参考スコア（独自算出の注目度）: 5.884448754842615
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Citation function classification plays a crucial role in understanding the relationships between scientific publications and advancing bibliometric analysis. This study presents one of the first comprehensive evaluations of multiple state-of-the-art (SOTA) large language models (LLMs) for citation function classification, achieving new SOTA results on the ACL-ARC dataset. We systematically compare five models (Mistral 7B, Orca 2-7B, LLaMA 3.1-8B, Falcon 7B, and SciBERT) across zero-shot, few-shot, and fine-tuning approaches. Our fine-tuned Falcon 7B model achieves a 73.3% macro F1 score on ACL-ARC, representing a significant improvement over previous methods. Additionally, we introduce AC3, a novel dataset featuring a seven-category annotation scheme that distinguishes between neutral acknowledgments and explicit evaluative stances (more opinion-oriented citations - criticizing, complimenting, contradicting). The dataset is implemented across four context extraction variants to systematically evaluate the impact of contextual scope on classification performance. We also provide detailed analysis of model performance, experimental configurations, and limitations to guide future research in this domain. To our knowledge, this is one of the first studies dedicated to comprehensive model comparison for citation function classification, addressing a gap identified in recent surveys.
- Abstract（参考訳）: サイテーション関数分類は、科学出版物間の関係を理解する上で重要な役割を担い、書誌分析の進歩に寄与する。
本研究では,ACL-ARCデータセット上で新たなSOTA結果を得るため,複数の言語モデル(LLM)の総合評価を行った。
我々は5つのモデル(Mistral 7B、Orca 2-7B、LLaMA 3.1-8B、Falcon 7B、SciBERT)をゼロショット、少数ショット、微調整のアプローチで体系的に比較した。
我々の微調整されたFalcon 7Bモデルは、ACL-ARC上で73.3%のマクロF1スコアを達成する。
さらに,中立認識と明確な評価姿勢(より意見指向の引用,批判,補完,矛盾)を区別する7カテゴリのアノテーションスキームを特徴とする新しいデータセットであるAC3を紹介する。
データセットは4つの文脈抽出変種にまたがって実装され、文脈スコープが分類性能に与える影響を体系的に評価する。
また、モデルの性能、実験的な構成、およびこの領域における将来の研究を導くための制限について詳細に分析する。
我々の知る限り、これは引用関数分類の包括的モデル比較のための最初の研究の1つであり、最近の調査で確認されたギャップに対処するものである。
関連論文リスト
- Exploring Zero-Shot ACSA with Unified Meaning Representation in Chain-of-Thought Prompting [4.14197005718384]
Aspect-Category Sentiment Analysis (ACSA)は、レビュー内の特定のテーマと関連する感情を識別することによって、詳細な洞察を提供する。
ゼロショット設定で大規模言語モデル(LLM)を活用することは、データアノテーションのリソースが制限される実用的な代替手段である、と我々は主張する。
本稿では、中間的統一意味表現(UMR)を利用してACSAタスクの推論プロセスを構築する新しいChain-of-Thought(CoT)プロンプト手法を提案する。
論文 参考訳（メタデータ） (2025-12-22T18:23:37Z) - Benchmarking Vision-Language and Multimodal Large Language Models in Zero-shot and Few-shot Scenarios: A study on Christian Iconography [0.764671395172401]
本研究では,マルチモーダル大言語モデル (LLMs) とビジョン言語モデル (VLMs) のクリスチャン・イコノグラフィーのシングルラベル分類における機能評価を行った。
論文 参考訳（メタデータ） (2025-09-23T09:23:31Z) - Unraveling the Capabilities of Language Models in News Summarization [0.0]
この研究は、ニュース要約タスクのより小さなものに焦点を当てた、最新の20の言語モデルの包括的なベンチマークを提供する。
本研究では,ゼロショットと少数ショットの学習設定に着目し,ロバストな評価手法を適用した。
GPT-3.5-Turbo と GPT-4 の優れた性能を強調した。
論文 参考訳（メタデータ） (2025-01-30T04:20:16Z) - Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。
1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
論文 参考訳（メタデータ） (2024-10-14T01:57:25Z) - Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。
生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。
我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文 参考訳（メタデータ） (2024-10-02T20:48:28Z) - On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - CiteFusion: An Ensemble Framework for Citation Intent Classification Harnessing Dual-Model Binary Couples and SHAP Analyses [1.6695303704829412]
CiteFusionは、SciCiteとACL-ARCという2つのベンチマークデータセット上のマルチクラスCitation Intent Classificationタスクに対処する。
実験の結果、CiteFusionは最先端のパフォーマンスを達成し、Macro-F1スコアはSciCiteで89.60%、ACL-ARCで76.24%であった。
我々は、SciCiteで開発されたCiteFusionモデルを利用して、引用意図を分類するWebベースのアプリケーションをリリースする。
論文 参考訳（メタデータ） (2024-07-18T09:29:33Z) - Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。
Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。
平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文 参考訳（メタデータ） (2023-09-14T17:45:51Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳（メタデータ） (2022-09-26T01:04:52Z) - CoPHE: A Count-Preserving Hierarchical Evaluation Metric in Large-Scale
Multi-Label Text Classification [70.554573538777]
ニューラルLMTCモデルの予測の階層的評価について論じる。
先行技術における構造化ラベル空間の表現における構造的問題について述べる。
深度に基づく表現を用いた階層的評価のための指標セットを提案する。
論文 参考訳（メタデータ） (2021-09-10T13:09:12Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。