論文の概要: ALiiCE: Evaluating Positional Fine-grained Citation Generation

• arxiv url: http://arxiv.org/abs/2406.13375v2
• Date: Tue, 10 Sep 2024 08:08:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 22:52:03.552651
• Title: ALiiCE: Evaluating Positional Fine-grained Citation Generation
• Title（参考訳）: ALiiCE: 位置決めきめ細粒化生成の評価
• Authors: Yilong Xu, Jinhua Gao, Xiaoming Yu, Baolong Bi, Huawei Shen, Xueqi Cheng,
• Abstract要約: 本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。 我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。 複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
• 参考スコア（独自算出の注目度）: 54.19617927314975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) can enhance the credibility and verifiability by generating text with citations. However, existing tasks and evaluation methods are predominantly limited to sentence-level statement, neglecting the significance of positional fine-grained citations that can appear anywhere within sentences. To facilitate further exploration of the fine-grained citation generation, we propose ALiiCE, the first automatic evaluation framework for this task. Our framework first parses the sentence claim into atomic claims via dependency analysis and then calculates citation quality at the atomic claim level. ALiiCE introduces three novel metrics for positional fined-grained citation quality assessment, including positional fine-grained citation recall and precision, and coefficient of variation of citation positions. We evaluate the positional fine-grained citation generation performance of several LLMs on two long-form QA datasets. Our experiments and analyses demonstrate the effectiveness and reasonableness of ALiiCE. The results also indicate that existing LLMs still struggle to provide positional fine-grained citations.
• Abstract（参考訳）: LLM(Large Language Models)は、引用文を生成することによって、信頼性と妥当性を高めることができる。 しかし、既存のタスクや評価方法は文レベルの文に限られており、文のどこにでも現れるような位置的きめ細かい引用の重要性を無視している。 そこで本研究では,このタスクのための最初の自動評価フレームワークであるALiiCEを提案する。 我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。 ALiiCEは3つの新しい測定基準を導入し、位置きめのきめのきめのきめのきめの参照と精度、引用位置のばらつきの係数を含む、位置きめのきめのきめのきめのきめのきめのきめのきめのきめのきめのきめのきめ細やかさの評価を行った。 2つの長周期QAデータセット上で,数個のLCMの位置的きめ細かな励起生成性能を評価する。 実験と分析により,ALiiCEの有効性と妥当性が示された。 また, 既存のLLMでは, 位置の微粒化に苦慮していることが示唆された。

関連論文リスト

• On the Capacity of Citation Generation by Large Language Models [38.47160164251295]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れる。
  論文  参考訳（メタデータ） (2024-10-15T03:04:26Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• Towards Fine-Grained Citation Evaluation in Generated Text: A Comparative Analysis of Faithfulness Metrics [22.041561519672456]
  大型言語モデル(LLM)は、しばしば「幻覚」として知られる、サポートされていない、または検証できないコンテンツを生成している。 本稿では,3段階のサポートレベル間での引用を識別する上で,メトリクスの有効性を評価するための比較評価フレームワークを提案する。 以上の結果から,全ての評価において一貫した指標が得られず,きめ細かな支援評価の複雑さが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T15:57:24Z)
• Learning to Generate Answers with Citations via Factual Consistency Models [28.716998866121923]
  大型言語モデル(LLM)は、ミッションクリティカルな状況においてその信頼性を阻害する。 本稿では,事実整合性モデル(FCM)を利用した弱教師付き微調整法を提案する。 集中学習は目的に統合され、ファインチューニングプロセスが現実の単位トークンを強調するように指示される。
  論文  参考訳（メタデータ） (2024-06-19T00:40:19Z)
• Verifiable Generation with Subsentence-Level Fine-Grained Citations [13.931548733211436]
  検証可能な生成には、出力をサポートするソースドキュメントを引用するために、大きな言語モデルが必要である。 先行研究は主に文レベルの引用の生成を目標としており、引用された情報源によって文のどの部分が裏付けられているかの特異性が欠如している。 本研究は, サブ文レベルのきめ細かな引用による生成を検証し, 引用元が支持する生成コンテンツのより正確な位置について検討する。
  論文  参考訳（メタデータ） (2024-06-10T09:32:37Z)
• FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction [85.26780391682894]
  自然言語推論とクレーム抽出(FENICE)に基づく要約のファクチュアリティ評価を提案する。 FENICEは、ソース文書内の情報と、要約から抽出されたクレームと呼ばれる一連の原子的事実との間のNLIベースのアライメントを利用する。 我々の測定基準は、事実性評価のためのデファクトベンチマークであるAGGREFACTに関する新しい技術状況を設定する。
  論文  参考訳（メタデータ） (2024-03-04T17:57:18Z)
• Controllable Citation Sentence Generation with Language Models [11.186252009101077]
  本稿では,テキストのコンテキスト,参照された論文のコンテキスト,および所望の制御属性を構造化テンプレートに統合し,次世代の予測を通じて言語モデル(LM)を微調整する手法を提案する。 提案したワークフローは、引用属性の提案と条件付き引用生成を1つのLMに調和して組み合わせ、より良いユーザ制御を実現する。
  論文  参考訳（メタデータ） (2022-11-14T01:54:08Z)
• Towards generating citation sentences for multiple references with intent control [86.53829532976303]
  We build a novel generation model with the Fusion-in-Decoder approach to handlee with multiple long inputs。 実験により,提案手法は引用文を生成するためのより包括的な特徴を提供することが示された。
  論文  参考訳（メタデータ） (2021-12-02T15:32:24Z)
• Context-Based Quotation Recommendation [60.93257124507105]
  本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。 これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。 音声テキストと関連するニュース記事の収集実験を行う。
  論文  参考訳（メタデータ） (2020-05-17T17:49:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。