Fugu-MT 論文翻訳(概要): HLM-Cite: Hybrid Language Model Workflow for Text-based Scientific Citation Prediction

論文の概要: HLM-Cite: Hybrid Language Model Workflow for Text-based Scientific Citation Prediction

arxiv url: http://arxiv.org/abs/2410.09112v1
Date: Thu, 10 Oct 2024 10:46:06 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 16:38:28.635563
Title: HLM-Cite: Hybrid Language Model Workflow for Text-based Scientific Citation Prediction
Title（参考訳）: HLM-Cite:テキストに基づく科学的引用予測のためのハイブリッド言語モデルワークフロー
Authors: Qianyue Hao, Jingyang Fan, Fengli Xu, Jian Yuan, Yong Li,
Abstract要約: 本稿では,表面的な言及を超越した批判的参照を識別する,コア引用という新しい概念を紹介する。我々は、引用予測のための$textbfH$ybrid $textbfL$anguage $textbfM$odelワークフローである$textbfHLM-Citeを提案する。我々はHLM-Citeを19分野にわたって評価し,SOTA法と比較して17.6%の性能向上を示した。
参考スコア（独自算出の注目度）: 14.731720495144112
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Citation networks are critical in modern science, and predicting which previous papers (candidates) will a new paper (query) cite is a critical problem. However, the roles of a paper's citations vary significantly, ranging from foundational knowledge basis to superficial contexts. Distinguishing these roles requires a deeper understanding of the logical relationships among papers, beyond simple edges in citation networks. The emergence of LLMs with textual reasoning capabilities offers new possibilities for discerning these relationships, but there are two major challenges. First, in practice, a new paper may select its citations from gigantic existing papers, where the texts exceed the context length of LLMs. Second, logical relationships between papers are implicit, and directly prompting an LLM to predict citations may result in surface-level textual similarities rather than the deeper logical reasoning. In this paper, we introduce the novel concept of core citation, which identifies the critical references that go beyond superficial mentions. Thereby, we elevate the citation prediction task from a simple binary classification to distinguishing core citations from both superficial citations and non-citations. To address this, we propose $\textbf{HLM-Cite}$, a $\textbf{H}$ybrid $\textbf{L}$anguage $\textbf{M}$odel workflow for citation prediction, which combines embedding and generative LMs. We design a curriculum finetune procedure to adapt a pretrained text embedding model to coarsely retrieve high-likelihood core citations from vast candidates and then design an LLM agentic workflow to rank the retrieved papers through one-shot reasoning, revealing the implicit relationships among papers. With the pipeline, we can scale the candidate sets to 100K papers. We evaluate HLM-Cite across 19 scientific fields, demonstrating a 17.6% performance improvement comparing SOTA methods.
Abstract（参考訳）: サイテーションネットワークは現代科学において重要であり、どの論文(候補)が新しい論文(クエリー)を引用するかを予測することが重要な問題である。しかし、論文の引用の役割は基礎的な知識ベースから表面的な文脈まで様々である。これらの役割の解消には、引用ネットワークにおける単純なエッジを超えて、論文間の論理的関係を深く理解する必要がある。テキスト推論機能を備えたLLMの出現は、これらの関係を識別する新たな可能性をもたらすが、大きな課題は2つある。まず、新しい論文は、LLMの文脈長を超える巨大な論文から引用を選択できる。第二に、論文間の論理的関係は暗黙的であり、LLMに引用を予測するよう直接促すことは、より深い論理的推論よりも表面的なテキスト的類似性をもたらす可能性がある。本稿では,表面的な言及を超越した批判的参照を識別する,コア引用という新しい概念を紹介する。これにより、単純な二分分類から引用予測タスクを上昇させ、表層引用と非引用の両方からコア引用を区別する。これを解決するために、埋め込みと生成LMを組み合わせた引用予測のための$\textbf{HLM-Cite}$, a $\textbf{H}$ybrid $\textbf{L}$anguage $\textbf{M}$odel workflowを提案する。我々は、事前訓練されたテキスト埋め込みモデルを適用して、膨大な候補からの高次コア引用を粗末に検索し、LLMエージェントワークフローを設計し、抽出した論文をワンショット推論によりランク付けし、論文間の暗黙の関係を明らかにするために、カリキュラムのファインチューン手順を設計する。パイプラインを使えば、候補セットを100Kの論文にスケールできます。我々はHLM-Citeを19分野にわたって評価し,SOTA法と比較して17.6%の性能向上を示した。

関連論文リスト

Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
RAGは大規模言語モデル(LLM)を強化するために広く採用されている。分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
論文参考訳（メタデータ） (2024-07-01T20:47:47Z)
ALiiCE: Evaluating Positional Fine-grained Citation Generation [54.19617927314975]
本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
論文参考訳（メタデータ） (2024-06-19T09:16:14Z)
Large Language Models Reflect Human Citation Patterns with a Heightened Citation Bias [1.7812428873698407]
サイテーションの実践は科学的知識の構造を形成するのに不可欠であるが、それらは現代の規範や偏見の影響を受けていることが多い。 LLM(Large Language Models)の出現は、これらのプラクティスに新たなダイナミクスをもたらす。本稿では,これらの特徴を,AAAI,NeurIPS,ICML,ICLRのデータセットを用いて解析する。
論文参考訳（メタデータ） (2024-05-24T17:34:32Z)
Context-Enhanced Language Models for Generating Multi-Paper Citations [35.80247519023821]
本稿では,Large Language Models (LLMs) を用いて多文文を生成する手法を提案する。提案手法は,複数文の引用文を含むコヒーレントな段落に終止符を打つ,単一のソース・ペーパーと対象論文の集合を包含する。
論文参考訳（メタデータ） (2024-04-22T04:30:36Z)
CausalCite: A Causal Formulation of Paper Citations [80.82622421055734]
CausalCiteは紙の意義を測定するための新しい方法だ。これは、従来のマッチングフレームワークを高次元のテキスト埋め込みに適応させる、新しい因果推論手法であるTextMatchに基づいている。科学専門家が報告した紙衝撃と高い相関性など,各種基準におけるCausalCiteの有効性を実証する。
論文参考訳（メタデータ） (2023-11-05T23:09:39Z)
When Large Language Models Meet Citation: A Survey [37.01594297337486]
大規模言語モデル(LLM)は、対応するテキストコンテキストを介して詳細な引用情報を取得するのに役立つ。キュリオシティはまた、科学論文間のつながりを確立し、高品質な文書間関係を提供する。本稿では, 引用分類, 引用に基づく要約, 引用レコメンデーションを含む, テキスト内引用分析タスクへのLLMの適用について概説する。
論文参考訳（メタデータ） (2023-09-18T12:48:48Z)
CiteBench: A benchmark for Scientific Citation Text Generation [69.37571393032026]
CiteBenchは引用テキスト生成のベンチマークである。 CiteBenchのコードはhttps://github.com/UKPLab/citebench.comで公開しています。
論文参考訳（メタデータ） (2022-12-19T16:10:56Z)
Towards generating citation sentences for multiple references with intent control [86.53829532976303]
We build a novel generation model with the Fusion-in-Decoder approach to handlee with multiple long inputs。実験により,提案手法は引用文を生成するためのより包括的な特徴を提供することが示された。
論文参考訳（メタデータ） (2021-12-02T15:32:24Z)
MultiCite: Modeling realistic citations requires moving beyond the single-sentence single-label setting [13.493267499658527]
我々は1200以上の計算言語学論文から12,653の引用コンテキストのデータセットであるMultiCiteをリリースした。従来のCCAモデルのトレーニングにはまだ使用可能なデータセットが,固定幅テキスト分類以外にも,CCAの新しいタイプのモデルの開発をサポートすることを示す。
論文参考訳（メタデータ） (2021-07-01T12:54:23Z)
Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
引用グラフを用いて科学論文の要約作業を再定義します。我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
論文参考訳（メタデータ） (2021-04-07T11:13:35Z)
Virtual Proximity Citation (VCP): A Supervised Deep Learning Method to Relate Uncited Papers On Grounds of Citation Proximity [0.0]
本稿では,仮想Citation Proximity (VCP) のアプローチについて議論する。文書中の2つの引用の間の実際の距離は、基礎的な真実として使用される。これは、2つの文書間の関連性を計算するために、たとえ文書が暗唱されていなくても、近接して引用されたであろう方法で計算することができる。
論文参考訳（メタデータ） (2020-09-25T12:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。