論文の概要: Post-Hoc Answer Attribution for Grounded and Trustworthy Long Document Comprehension: Task, Insights, and Challenges

• arxiv url: http://arxiv.org/abs/2406.06938v1
• Date: Tue, 11 Jun 2024 04:31:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 17:35:03.946465
• Title: Post-Hoc Answer Attribution for Grounded and Trustworthy Long Document Comprehension: Task, Insights, and Challenges
• Title（参考訳）: 埋蔵・信頼性の高い長期文書理解への回答 : 課題・洞察・課題
• Authors: Abhilasha Sancheti, Koustava Goswami, Balaji Vasan Srinivasan,
• Abstract要約: 長期文書理解のためのポストホック応答帰属の新たな課題を定式化する。 我々は,既存の検索ベース属性の長所と短所を評価するために,既存のデータセットを精査し,回答の分解を提案する。 私たちは、既存のデータセットの制限と、このタスクにおけるシステムの実際のパフォーマンスを評価するデータセットの必要性に光を当てています。
• 参考スコア（独自算出の注目度）: 10.470341106091485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attributing answer text to its source document for information-seeking questions is crucial for building trustworthy, reliable, and accountable systems. We formulate a new task of post-hoc answer attribution for long document comprehension (LDC). Owing to the lack of long-form abstractive and information-seeking LDC datasets, we refactor existing datasets to assess the strengths and weaknesses of existing retrieval-based and proposed answer decomposition and textual entailment-based optimal selection attribution systems for this task. We throw light on the limitations of existing datasets and the need for datasets to assess the actual performance of systems on this task.
• Abstract（参考訳）: 信頼できる、信頼性があり、説明可能なシステムを構築するためには、情報検索に関する質問に対する回答テキストのソースドキュメントへの投稿が不可欠である。 我々は,長期文書理解(LDC)のためのポストホック応答帰属の新たな課題を定式化する。 長文の抽象的および情報探索的LCCデータセットが欠如していることから,既存の検索ベースと提案した回答分解とテキスト・エントリメントに基づく最適選択属性システムの有効性と弱点を評価するために,既存のデータセットをリファクタリングした。 私たちは、既存のデータセットの制限と、このタスクにおけるシステムの実際のパフォーマンスを評価するデータセットの必要性に光を当てています。

関連論文リスト

• Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
  そこで本研究では,属性を付加した6種類の長文書タスクのベンチマークと,4つの長文書に対する属性に対する異なるアプローチの実験を行う。 反応生成と証拠抽出を一つのステップで行うと、ほとんどの場合、最も良い結果が得られます。 また、単純な応答を持つデータセットで応答品質を予測できるエビデンスがあることもわかりましたが、複雑な応答には適していません。
  論文  参考訳（メタデータ） (2024-07-10T16:16:02Z)
• STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
  テキストとKのガベージベース上での大規模半構造検索ベンチマークSTARKを開発する。 本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野を対象とする。 多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
  論文  参考訳（メタデータ） (2024-04-19T22:54:54Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• QuOTeS: Query-Oriented Technical Summarization [0.2936007114555107]
  提案するQuOTeSは,潜在的参照の集合から研究の要約に関連する文章を検索するインタラクティブシステムである。 QuOTeS は Query-Focused Extractive Summarization と High-Recall Information Retrieval の技法を統合し、科学文書のインタラクティブなクエリ-Focused Summarization を提供する。 結果から,QuOTeSは肯定的なユーザエクスペリエンスを提供し,関連する,簡潔かつ完全なクエリ中心の要約を一貫して提供することが明らかになった。
  論文  参考訳（メタデータ） (2023-06-20T18:43:24Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• Hurdles to Progress in Long-form Question Answering [34.805039943215284]
  タスクの定式化は評価とデータセットの作成に関する根本的な課題を提起する。 まず,最先端性能を実現するために,注意の疎化とコントラストレトリバー学習による新しいシステムを設計する。
  論文  参考訳（メタデータ） (2021-03-10T20:32:30Z)
• Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
  本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。 本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。 最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
  論文  参考訳（メタデータ） (2020-12-29T14:39:35Z)
• WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization [16.048329028104643]
  Query Focused Multi-Document Summarization (QF-MDS)タスクでは、ドキュメントのセットとクエリが与えられ、そこでこれらのドキュメントから要約を生成する。 このタスクの大きな課題のひとつは、ラベル付きトレーニングデータセットの可用性の欠如である。 本稿では,遠隔指導による弱教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T02:02:55Z)
• QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications [20.507631900617817]
  提案するQBSUMは,中国語クエリベースの文書要約処理のための49,000以上のデータサンプルからなる高品質な大規模データセットである。 また,タスクに対する教師なしおよび教師なしの複数のソリューションを提案し,オフライン実験とオンラインA/Bテストの両方を通して,高速な推論と優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-27T07:30:04Z)
• A Review on Fact Extraction and Verification [19.373340472113703]
  本研究では,あるクレームの正当性を特定することを目的とした事実チェック問題について検討する。 我々は、Fact extract and verification(FEVER)タスクとそれに伴うデータセットに焦点を当てる。 このタスクは必須であり、偽ニュースの検出や医療クレームの検証といったアプリケーションの構築ブロックになる可能性がある。
  論文  参考訳（メタデータ） (2020-10-06T20:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。