論文の概要: Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs

• arxiv url: http://arxiv.org/abs/2502.14561v2
• Date: Fri, 30 May 2025 06:17:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 17:26:04.953819
• Title: Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs
• Title（参考訳）: LLMはCitation Intentを予測できるか? オープンLLMにおけるインコンテキスト学習と微調整の実験的検討
• Authors: Paris Koloveas, Serafeim Chatzopoulos, Thanasis Vergoulis, Christos Tryfonopoulos,
• Abstract要約: 本研究では,Large Language Models (LLMs) を用いて,文脈内学習と微調整による引用意図の予測を行う。 0, 1-, few-, many-shot プロンプトを用いて, 5つの著名なオープン LLM ファミリーの12種類のモデル変動を評価した。 次に、このモデルを微調整し、SciCiteデータセットで8%、ACL-ARCデータセットで4.3%の相対的なF1スコア改善を実現し、タスク固有適応の意義を実証する。
• 参考スコア（独自算出の注目度）: 0.464982780843177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates the ability of open Large Language Models (LLMs) to predict citation intent through in-context learning and fine-tuning. Unlike traditional approaches relying on domain-specific pre-trained models like SciBERT, we demonstrate that general-purpose LLMs can be adapted to this task with minimal task-specific data. We evaluate twelve model variations across five prominent open LLM families using zero-, one-, few-, and many-shot prompting. Our experimental study identifies the top-performing model and prompting parameters through extensive in-context learning experiments. We then demonstrate the significant impact of task-specific adaptation by fine-tuning this model, achieving a relative F1-score improvement of 8% on the SciCite dataset and 4.3% on the ACL-ARC dataset compared to the instruction-tuned baseline. These findings provide valuable insights for model selection and prompt engineering. Additionally, we make our end-to-end evaluation framework and models openly available for future use.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) を用いて,文脈内学習と微調整による引用意図の予測を行う。 SciBERTのようなドメイン固有の事前学習モデルに依存する従来のアプローチとは異なり、汎用LLMは最小限のタスク固有データでこのタスクに適応可能であることを示す。 0, 1-, few-, many-shot プロンプトを用いて, オープンな5つのLLMファミリーの12種類のモデル変動を評価した。 実験では,テキスト内学習実験を通じて,トップパフォーマンスモデルを特定し,パラメータを誘導する。 次に、このモデルを微調整し、SciCiteデータセットで8%、ACL-ARCデータセットで4.3%の相対的なF1スコア改善を実現し、タスク固有適応の意義を実証する。 これらの発見は、モデル選択と迅速なエンジニアリングのための貴重な洞察を与える。 さらに、エンド・ツー・エンドの評価フレームワークとモデルを、将来の使用のために公開しています。

関連論文リスト

• Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
  本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。 提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
  論文  参考訳（メタデータ） (2025-04-02T20:33:27Z)
• A Foundational individual Mobility Prediction Model based on Open-Source Large Language Models [0.0]
  大規模言語モデル(LLM)はドメイン固有のタスクに広く適用されている。 本稿では,基盤となるオープンソースのLCMに基づくモビリティ予測モデルをトレーニングするための,統一的な微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T15:08:37Z)
• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Large Language Models Can Self-Improve in Long-context Reasoning [100.52886241070907]
  大規模言語モデル(LLM)は、長いコンテキストの処理においてかなりの進歩を遂げているが、それでも長いコンテキストの推論に苦慮している。 我々はこの目的のために特別に設計されたアプローチである我々の提案する。 人類の専門家や 先進的なモデルによるデータに依存する 従来のアプローチと比べて 優れたパフォーマンスを達成しています
  論文  参考訳（メタデータ） (2024-11-12T19:53:00Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• In-Context Explainers: Harnessing LLMs for Explaining Black Box Models [28.396104334980492]
  大規模言語モデル(LLM)は、機械翻訳、常識推論、言語理解といった複雑なタスクにおいて、例外的な機能を示している。 このような多様なタスクにおけるLLMの適応性の主要な理由の1つは、インコンテキスト学習(ICL)能力である。 本稿では,LLMのICL機能を利用して,他の予測モデルによる予測を説明する新しい3つの手法,In-Context Explainersを提案する。
  論文  参考訳（メタデータ） (2023-10-09T15:31:03Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。