論文の概要: InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification

• arxiv url: http://arxiv.org/abs/2401.16475v1
• Date: Mon, 29 Jan 2024 19:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 17:29:48.074205
• Title: InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification
• Title（参考訳）: InfoLossQA: テキスト単純化における情報損失の特徴と回復
• Authors: Jan Trienes, Sebastian Joseph, J\"org Schl\"otterer, Christin Seifert, Kyle Lo, Wei Xu, Byron C. Wallace, Junyi Jessy Li
• Abstract要約: 本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
• 参考スコア（独自算出の注目度）: 62.61201551494709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text simplification aims to make technical texts more accessible to laypeople but often results in deletion of information and vagueness. This work proposes InfoLossQA, a framework to characterize and recover simplification-induced information loss in form of question-and-answer (QA) pairs. Building on the theory of Question Under Discussion, the QA pairs are designed to help readers deepen their knowledge of a text. We conduct a range of experiments with this framework. First, we collect a dataset of 1,000 linguist-curated QA pairs derived from 104 LLM simplifications of scientific abstracts of medical studies. Our analyses of this data reveal that information loss occurs frequently, and that the QA pairs give a high-level overview of what information was lost. Second, we devise two methods for this task: end-to-end prompting of open-source and commercial language models, and a natural language inference pipeline. With a novel evaluation framework considering the correctness of QA pairs and their linguistic suitability, our expert evaluation reveals that models struggle to reliably identify information loss and applying similar standards as humans at what constitutes information loss.
• Abstract（参考訳）: テキストの単純化は、技術テキストをより平凡な人々にとってアクセスしやすいものにすることを目的としている。 本研究は,QA(Q&A)ペアによる簡易化による情報損失を特徴付けるフレームワークであるInfoLossQAを提案する。 議論中の問題理論に基づいて、qaペアは読者がテキストに関する知識を深めるのに役立つように設計されている。 私たちはこのフレームワークでさまざまな実験を行います。 まず、医学研究の科学的な抽象化の104 LLM単純化から得られた1000の言語学者によるQAペアのデータセットを収集する。 このデータを分析した結果,情報損失が頻繁に発生し,qaペアが情報損失の概要を高レベルに示すことが明らかとなった。 第2に,オープンソースおよび商用言語モデルのエンドツーエンドプロンプトと,自然言語推論パイプラインの2つの手法を考案した。 qaペアの正しさとその言語的適合性を考慮した新たな評価フレームワークによって,モデルが情報損失を確実に識別し,情報損失を構成するものに人間と同様の基準を適用するのに苦労していることが明らかになった。

関連論文リスト

• Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
  本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。 まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。 第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
  論文  参考訳（メタデータ） (2024-09-13T17:38:47Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Using Weak Supervision and Data Augmentation in Question Answering [0.12499537119440242]
  新型コロナウイルス(COVID-19)のパンデミックの始まりは、タイムリーで病気固有の質問に答えるために、バイオメディカル文献へのアクセスの必要性を強調した。 我々は、深層ニューラルネットワークQAモデルのトレーニングにおいて、弱い監視とデータ拡張が果たす役割について検討する。 システムの中核部におけるQAモデルのコンテキストにおける手法の評価を行い、COVID-19に関する質問に答える。
  論文  参考訳（メタデータ） (2023-09-28T05:16:51Z)
• Utilizing Background Knowledge for Robust Reasoning over Traffic Situations [63.45021731775964]
  我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。 本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。 交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
  論文  参考訳（メタデータ） (2022-12-04T09:17:24Z)
• Discourse Analysis via Questions and Answers: Parsing Dependency Structures of Questions Under Discussion [57.43781399856913]
  この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。 我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。 完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
  論文  参考訳（メタデータ） (2022-10-12T03:53:12Z)
• QASem Parsing: Text-to-text Modeling of QA-based Semantics [19.42681342441062]
  本稿では,QA-SRL,QANom,QADiscourseの3つの意味的タスクについて考察する。 最初に統合されたQASem解析ツールをリリースし、下流アプリケーションに実用的です。
  論文  参考訳（メタデータ） (2022-05-23T15:56:07Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• A Survey on Complex Question Answering over Knowledge Base: Recent Advances and Challenges [71.4531144086568]
  知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。 研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
  論文  参考訳（メタデータ） (2020-07-26T07:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。