論文の概要: Think Before You Attribute: Improving the Performance of LLMs Attribution Systems

• arxiv url: http://arxiv.org/abs/2505.12621v1
• Date: Mon, 19 May 2025 02:08:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.350402
• Title: Think Before You Attribute: Improving the Performance of LLMs Attribution Systems
• Title（参考訳）: 属性前を考える - LLMの属性システムの性能改善
• Authors: João Eduardo Batista, Emil Vatai, Mohamed Wahib,
• Abstract要約: 本稿では,Retrieve-Augmented Generation (RAG)システムに対する文レベルの事前帰属ステップを提案する。 帰属前の文章を分離することにより、そのタイプの文章に対して適切な帰属方法を選択することができ、帰属を完全にスキップすることができる。
• 参考スコア（独自算出の注目度）: 2.527698260421756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly applied in various science domains, yet their broader adoption remains constrained by a critical challenge: the lack of trustworthy, verifiable outputs. Current LLMs often generate answers without reliable source attribution, or worse, with incorrect attributions, posing a barrier to their use in scientific and high-stakes settings, where traceability and accountability are non-negotiable. To be reliable, attribution systems need high accuracy and retrieve data with short lengths, i.e., attribute to a sentence within a document rather than a whole document. We propose a sentence-level pre-attribution step for Retrieve-Augmented Generation (RAG) systems that classify sentences into three categories: not attributable, attributable to a single quote, and attributable to multiple quotes. By separating sentences before attribution, a proper attribution method can be selected for the type of sentence, or the attribution can be skipped altogether. Our results indicate that classifiers are well-suited for this task. In this work, we propose a pre-attribution step to reduce the computational complexity of attribution, provide a clean version of the HAGRID dataset, and provide an end-to-end attribution system that works out of the box.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な科学領域でますます適用されているが、その広範な採用は、信頼できる検証可能なアウトプットの欠如という重要な課題によって制限されている。 現在のLCMは、しばしば信頼できる情報源の帰属を伴わず、またはさらに悪いことに、誤った帰属を伴い、トレーサビリティと説明責任が交渉不可能な科学的・高い状況において彼らの使用の障壁となる。 信頼性を得るためには、属性システムは高い精度を必要とし、短い長さのデータ、すなわち文書全体ではなく文書内の文によるデータを取得する。 本稿では,文を帰属的でない,単一の引用に帰属する,複数の引用に帰属する,という3つのカテゴリに分類する,検索・拡張生成(RAG)システムのための文レベルの事前帰属ステップを提案する。 帰属前の文章を分離することにより、そのタイプの文章に対して適切な帰属方法を選択することができ、帰属を完全にスキップすることができる。 以上の結果から,分類器はこの課題に適していることが示唆された。 本研究では,属性の計算複雑性を低減し,HAGRIDデータセットのクリーンバージョンを提供し,ボックス外で動作可能なエンドツーエンドの属性システムを提供する。

関連論文リスト

• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。 既存の属性に対するアプローチはRAG設定でのみ評価されている。 これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。 そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• Rescue: Ranking LLM Responses with Partial Ordering to Improve Response Generation [28.89786334298637]
  ランキングメトリクスを用いたLCMの最適化手法を開発した。 従来の完全順序付けではなく、部分順序付けを提唱する。 ベンチマークデータセットを用いて,システムの改善された応答生成能力を検証した。
  論文  参考訳（メタデータ） (2023-11-15T17:27:14Z)
• SLIDE: Reference-free Evaluation for Machine Translation using a Sliding Document Window [24.524282909076767]
  本稿では,文ブロックで動作するSLIDE(SLIding Document Evaluator)というメトリクスを提案する。 SLIDEは文レベルベースラインよりもペアワイズシステムの精度がかなり高いことがわかった。 このことは、ソースの曖昧さを曖昧にするために、ソースコンテキストが人間の参照と同じ情報を提供する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-09-16T01:30:58Z)
• RARR: Researching and Revising What Language Models Say, Using Language Models [31.057495176599502]
  RARR(Retrofit Attribution using Research and Revision)は,テキスト生成モデルの出力に対する属性を自動的に検出するシステムである。 RARRは、以前検討した編集モデルよりも、元の入力をはるかに高い程度に保存しながら、属性を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2022-10-17T03:44:30Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。