論文の概要: Document Attribution: Examining Citation Relationships using Large Language Models
- arxiv url: http://arxiv.org/abs/2505.06324v1
- Date: Fri, 09 May 2025 04:40:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:48.78611
- Title: Document Attribution: Examining Citation Relationships using Large Language Models
- Title（参考訳）: 文書属性:大規模言語モデルを用いた引用関係の検討
- Authors: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka,
- Abstract要約: そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。
また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
- 参考スコア（独自算出の注目度）: 62.46146670035751
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、ドキュメントの要約、質問応答、情報抽出といったドキュメントベースのタスクにますます適用されていくにつれて、モデルのパラメトリックな知識に頼るのではなく、提供されたドキュメントから情報を取得することに注力するユーザの要求が重要になっている。
この課題に対処する中心的なアプローチは属性であり、生成されたアウトプットをソースドキュメントにトレースする。
しかし,LSMは不正確な応答や不正確な応答を発生させることができるため,これらの引用の信頼性を評価することが重要である。
これを解決するために,本研究は2つの手法を提案する。
1) 素直なテキスト・エンタテインメント・タスクとして属性をフレーム化するゼロショット・アプローチ。
flan-ul2 法は,ID と OOD の最適基準値に対して 0.27% と 2.4% の改善を示した。
2) 帰属過程の促進における注意機構の役割についても検討する。
F1は、Flan-t5-小の小さいLDMを用いて、層4と層8〜11を除くほぼすべての層でベースラインを上回ります。
関連論文リスト
- A RAG-Based Institutional Assistant [0.1499944454332829]
我々は,サンパウロ大学に特化されたRAGベースの仮想アシスタントの設計と評価を行った。
最適レトリバーモデルではトップ5の精度が30%,最も有効な生成モデルでは22.04%,真理回答では22.04%のスコアが得られた。
論文 参考訳（メタデータ） (2025-01-23T17:54:19Z) - Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。
この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。
提案手法は2つの共通データセットに対して最先端の性能を達成した。
論文 参考訳（メタデータ） (2024-12-24T16:38:04Z) - Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。
既存の属性に対するアプローチはRAG設定でのみ評価されている。
これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。
そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
論文 参考訳（メタデータ） (2024-07-10T16:16:02Z) - CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。
本稿では,新しい検証フレームワークであるCaLMを紹介する。
我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
論文 参考訳（メタデータ） (2024-06-08T06:04:55Z) - Learning from Litigation: Graphs and LLMs for Retrieval and Reasoning in eDiscovery [6.037276428689637]
本稿では2つの世界の強みを組み合わせたハイブリッド手法であるDISCOG(Disdiscovery Graph)を紹介する。
本手法は,手作業と比較して文書レビューコストを99.9%削減し,LCMに基づく分類法と比較して95%削減する。
論文 参考訳（メタデータ） (2024-05-29T15:08:55Z) - WebCiteS: Attributed Query-Focused Summarization on Chinese Web Search Results with Citations [34.99831757956635]
我々は,属性付きクエリ中心要約 (AQFS) のタスクを定式化するとともに,7kの人称注釈の要約を引用した中国語データセットであるWebCiteSを提示する。
これらの課題に対処するために、詳細なメトリクスを開発し、自動評価器が文を細かな検証のためにサブステートに分解できるようにする。
論文 参考訳（メタデータ） (2024-03-04T07:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。