論文の概要: InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification
- arxiv url: http://arxiv.org/abs/2401.16475v2
- Date: Tue, 4 Jun 2024 13:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 13:17:49.450619
- Title: InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification
- Title(参考訳): InfoLossQA: テキスト単純化における情報損失の特徴と回復
- Authors: Jan Trienes, Sebastian Joseph, Jörg Schlötterer, Christin Seifert, Kyle Lo, Wei Xu, Byron C. Wallace, Junyi Jessy Li,
- Abstract要約: 本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
- 参考スコア(独自算出の注目度): 60.10193972862099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text simplification aims to make technical texts more accessible to laypeople but often results in deletion of information and vagueness. This work proposes InfoLossQA, a framework to characterize and recover simplification-induced information loss in form of question-and-answer (QA) pairs. Building on the theory of Question Under Discussion, the QA pairs are designed to help readers deepen their knowledge of a text. We conduct a range of experiments with this framework. First, we collect a dataset of 1,000 linguist-curated QA pairs derived from 104 LLM simplifications of scientific abstracts of medical studies. Our analyses of this data reveal that information loss occurs frequently, and that the QA pairs give a high-level overview of what information was lost. Second, we devise two methods for this task: end-to-end prompting of open-source and commercial language models, and a natural language inference pipeline. With a novel evaluation framework considering the correctness of QA pairs and their linguistic suitability, our expert evaluation reveals that models struggle to reliably identify information loss and applying similar standards as humans at what constitutes information loss.
- Abstract(参考訳): テキストの単純化は、技術テキストを平凡な人々にとってより使いやすくすることを目的としているが、しばしば情報の削除と曖昧さをもたらす。
本研究は,QA(Qanguage-and-Awer)ペアによる簡易化による情報損失を特徴付けるフレームワークであるInfoLossQAを提案する。
QAペアは、読者がテキストの知識をより深く理解するのに役立つように設計されている。
私たちはこのフレームワークでさまざまな実験を行います。
まず、医学研究の科学的な抽象化の104 LLM単純化から得られた1000の言語学者によるQAペアのデータセットを収集する。
このデータから,情報損失は頻繁に発生し,QAペアは,失った情報の高レベルな概要を提示する。
第2に,オープンソースおよび商用言語モデルのエンドツーエンドプロンプトと,自然言語推論パイプラインの2つの手法を考案した。
また,QAペアの正しさと言語的適合性を考慮した新たな評価枠組みにより,モデルが情報損失を確実に識別し,情報損失を構成する点において人間と同様の基準を適用するのに苦慮していることが明らかとなった。
関連論文リスト
- Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Using Weak Supervision and Data Augmentation in Question Answering [0.12499537119440242]
新型コロナウイルス(COVID-19)のパンデミックの始まりは、タイムリーで病気固有の質問に答えるために、バイオメディカル文献へのアクセスの必要性を強調した。
我々は、深層ニューラルネットワークQAモデルのトレーニングにおいて、弱い監視とデータ拡張が果たす役割について検討する。
システムの中核部におけるQAモデルのコンテキストにおける手法の評価を行い、COVID-19に関する質問に答える。
論文 参考訳(メタデータ) (2023-09-28T05:16:51Z) - Utilizing Background Knowledge for Robust Reasoning over Traffic
Situations [63.45021731775964]
我々は、インテリジェントトランスポーテーションの補完的な研究側面である交通理解に焦点を当てる。
本研究は,豊富なコモンセンス知識を前提として,テキストベースの手法とデータセットを対象とする。
交通状況に対するゼロショットQAには3つの知識駆動アプローチを採用しています。
論文 参考訳(メタデータ) (2022-12-04T09:17:24Z) - Discourse Analysis via Questions and Answers: Parsing Dependency
Structures of Questions Under Discussion [57.43781399856913]
この研究は、談話分析にQUD(Language framework of Questions Under discussion)を採用する。
我々は、文間の関係を、徹底的なきめ細かい質問とは対照的に、自由形式の質問として特徴づける。
完全文書上の質問の依存関係構造を導出する第一種QUDを開発する。
論文 参考訳(メタデータ) (2022-10-12T03:53:12Z) - Detect, Retrieve, Comprehend: A Flexible Framework for Zero-Shot
Document-Level Question Answering [6.224211330728391]
研究者は貴重な技術知識を含む何千もの学術文書を作成した。
文書レベルの質問応答(QA)は、人間の提案する質問を適応して多様な知識を抽出できる柔軟なフレームワークを提供する。
本稿では,PDFからテキストを抽出する3段階の文書QAアプローチ,抽出したテキストからエビデンスを抽出して適切な文脈を形成する方法,文脈から知識を抽出して高品質な回答を返すためのQAを提案する。
論文 参考訳(メタデータ) (2022-10-04T23:33:52Z) - QASem Parsing: Text-to-text Modeling of QA-based Semantics [19.42681342441062]
本稿では,QA-SRL,QANom,QADiscourseの3つの意味的タスクについて考察する。
最初に統合されたQASem解析ツールをリリースし、下流アプリケーションに実用的です。
論文 参考訳(メタデータ) (2022-05-23T15:56:07Z) - Discourse Comprehension: A Question Answering Framework to Represent
Sentence Connections [35.005593397252746]
談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。
本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。
得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
論文 参考訳(メタデータ) (2021-11-01T04:50:26Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。