論文の概要: ALiiCE: Evaluating Positional Fine-grained Citation Generation
- arxiv url: http://arxiv.org/abs/2406.13375v2
- Date: Tue, 10 Sep 2024 08:08:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 22:52:03.552651
- Title: ALiiCE: Evaluating Positional Fine-grained Citation Generation
- Title(参考訳): ALiiCE: 位置決めきめ細粒化生成の評価
- Authors: Yilong Xu, Jinhua Gao, Xiaoming Yu, Baolong Bi, Huawei Shen, Xueqi Cheng,
- Abstract要約: 本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。
我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。
複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
- 参考スコア(独自算出の注目度): 54.19617927314975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) can enhance the credibility and verifiability by generating text with citations. However, existing tasks and evaluation methods are predominantly limited to sentence-level statement, neglecting the significance of positional fine-grained citations that can appear anywhere within sentences. To facilitate further exploration of the fine-grained citation generation, we propose ALiiCE, the first automatic evaluation framework for this task. Our framework first parses the sentence claim into atomic claims via dependency analysis and then calculates citation quality at the atomic claim level. ALiiCE introduces three novel metrics for positional fined-grained citation quality assessment, including positional fine-grained citation recall and precision, and coefficient of variation of citation positions. We evaluate the positional fine-grained citation generation performance of several LLMs on two long-form QA datasets. Our experiments and analyses demonstrate the effectiveness and reasonableness of ALiiCE. The results also indicate that existing LLMs still struggle to provide positional fine-grained citations.
- Abstract(参考訳): LLM(Large Language Models)は、引用文を生成することによって、信頼性と妥当性を高めることができる。
しかし、既存のタスクや評価方法は文レベルの文に限られており、文のどこにでも現れるような位置的きめ細かい引用の重要性を無視している。
そこで本研究では,このタスクのための最初の自動評価フレームワークであるALiiCEを提案する。
我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。
ALiiCEは3つの新しい測定基準を導入し、位置きめのきめのきめのきめのきめの参照と精度、引用位置のばらつきの係数を含む、位置きめのきめのきめのきめのきめのきめのきめのきめのきめのきめのきめのきめ細やかさの評価を行った。
2つの長周期QAデータセット上で,数個のLCMの位置的きめ細かな励起生成性能を評価する。
実験と分析により,ALiiCEの有効性と妥当性が示された。
また, 既存のLLMでは, 位置の微粒化に苦慮していることが示唆された。
関連論文リスト
- Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
RAGは大規模言語モデル(LLM)を強化するために広く採用されている。
分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。
本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
論文 参考訳(メタデータ) (2024-07-01T20:47:47Z) - Towards Fine-Grained Citation Evaluation in Generated Text: A Comparative Analysis of Faithfulness Metrics [22.041561519672456]
大型言語モデル (LLMs) は、しばしば「幻覚 (hallucinations)」として知られる、サポートされていない、または検証できない情報を生成する。
従来の研究では、信頼度測定を用いて引用支援を自動的に見積もっていたが、二分分類に限られていた。
本フレームワークは, 相関分析, 分類評価, 検索評価を用いて, 測定値と人的判断の一致を計測する。
論文 参考訳(メタデータ) (2024-06-21T15:57:24Z) - Learning to Generate Answers with Citations via Factual Consistency Models [28.716998866121923]
大型言語モデル(LLM)は、ミッションクリティカルな状況においてその信頼性を阻害する。
本稿では,事実整合性モデル(FCM)を利用した弱教師付き微調整法を提案する。
集中学習は目的に統合され、ファインチューニングプロセスが現実の単位トークンを強調するように指示される。
論文 参考訳(メタデータ) (2024-06-19T00:40:19Z) - Verifiable Generation with Subsentence-Level Fine-Grained Citations [13.931548733211436]
検証可能な生成には、出力をサポートするソースドキュメントを引用するために、大きな言語モデルが必要である。
先行研究は主に文レベルの引用の生成を目標としており、引用された情報源によって文のどの部分が裏付けられているかの特異性が欠如している。
本研究は, サブ文レベルのきめ細かな引用による生成を検証し, 引用元が支持する生成コンテンツのより正確な位置について検討する。
論文 参考訳(メタデータ) (2024-06-10T09:32:37Z) - Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
我々は、事前学習データにおいて、信頼された情報源から動詞句を引用するモデルを開発する。
Quote-Tuning は高品質な事前学習文書から引用した LLM 生成率を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-05T02:27:09Z) - Controllable Citation Sentence Generation with Language Models [11.186252009101077]
本稿では,テキストのコンテキスト,参照された論文のコンテキスト,および所望の制御属性を構造化テンプレートに統合し,次世代の予測を通じて言語モデル(LM)を微調整する手法を提案する。
提案したワークフローは、引用属性の提案と条件付き引用生成を1つのLMに調和して組み合わせ、より良いユーザ制御を実現する。
論文 参考訳(メタデータ) (2022-11-14T01:54:08Z) - Deep Graph Learning for Anomalous Citation Detection [55.81334139806342]
本稿では,新たな深層グラフ学習モデルであるGLAD(Graph Learning for Anomaly Detection)を提案する。
GLADフレームワーク内ではCPU(Citation PUrpose)と呼ばれるアルゴリズムが提案され,引用テキストに基づく引用の目的が明らかになった。
論文 参考訳(メタデータ) (2022-02-23T09:05:28Z) - Towards generating citation sentences for multiple references with
intent control [86.53829532976303]
We build a novel generation model with the Fusion-in-Decoder approach to handlee with multiple long inputs。
実験により,提案手法は引用文を生成するためのより包括的な特徴を提供することが示された。
論文 参考訳(メタデータ) (2021-12-02T15:32:24Z) - On the Use of Context for Predicting Citation Worthiness of Sentences in
Scholarly Articles [10.28696219236292]
この問題を階層的BiLSTMモデルを用いて解いたシーケンスラベリングタスクとして定式化する。
我々は200万以上の文とそのラベルを含む新しいベンチマークデータセットをコントリビュートする。
本研究は,引用価値のための文脈埋め込みと文脈埋め込みの利点を定量化する。
論文 参考訳(メタデータ) (2021-04-18T21:47:30Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。