論文の概要: FRUIT: Faithfully Reflecting Updated Information in Text
- arxiv url: http://arxiv.org/abs/2112.08634v1
- Date: Thu, 16 Dec 2021 05:21:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 04:23:11.746587
- Title: FRUIT: Faithfully Reflecting Updated Information in Text
- Title(参考訳): FRUIT: 更新された情報をテキストで忠実に反映
- Authors: Robert L. Logan IV, Alexandre Passos, Sameer Singh and Ming-Wei Chang
- Abstract要約: FRUIT(FruIT)で更新情報を反映した新しい生成タスクについて紹介する。
我々の分析は、記事の更新が可能なモデルを開発するには、ニューラルジェネレーションモデルに新しい能力が必要であることを示している。
- 参考スコア(独自算出の注目度): 106.40177769765512
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Textual knowledge bases such as Wikipedia require considerable effort to keep
up to date and consistent. While automated writing assistants could potentially
ease this burden, the problem of suggesting edits grounded in external
knowledge has been under-explored. In this paper, we introduce the novel
generation task of *faithfully reflecting updated information in text*(FRUIT)
where the goal is to update an existing article given new evidence. We release
the FRUIT-WIKI dataset, a collection of over 170K distantly supervised data
produced from pairs of Wikipedia snapshots, along with our data generation
pipeline and a gold evaluation set of 914 instances whose edits are guaranteed
to be supported by the evidence. We provide benchmark results for popular
generation systems as well as EDIT5 -- a T5-based approach tailored to editing
we introduce that establishes the state of the art. Our analysis shows that
developing models that can update articles faithfully requires new capabilities
for neural generation models, and opens doors to many new applications.
- Abstract(参考訳): Wikipediaのようなテキストの知識基盤は、最新の状態と一貫性を維持するためにかなりの努力を必要とする。
自動筆記アシスタントは、この負担を軽減する可能性があるが、外部の知識に根ざした編集を提案する問題は過小評価されている。
本稿では,更新された情報をテキスト*(FRUIT)に忠実に反映する新規な生成タスクについて紹介する。
fruit-wikiデータセットをリリースした。wikipediaスナップショットのペアから生成された170万以上の遠隔監視データと、データ生成パイプラインと、証拠によって編集が保証された914インスタンスのゴールド評価セットのコレクションです。
私たちは、一般的な世代システムとEDIT5のベンチマーク結果を提供しています。
分析の結果、論文を忠実に更新できるモデルの開発にはニューラルジェネレーションモデルに新たな能力が必要であり、多くの新しいアプリケーションへの扉を開くことが判明した。
関連論文リスト
- Updating Language Models with Unstructured Facts: Towards Practical
Knowledge Editing [87.35944788684958]
我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。
UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。
新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
論文 参考訳(メタデータ) (2024-02-29T07:08:34Z) - Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language
Models [85.87893284239149]
本稿では,LMのトレーニングと評価を行うための時間発展型質問応答ベンチマークであるEvolvingQAを紹介する。
本ベンチマークでは,実世界のアプリケーションをエミュレートするための下流タスクとして質問応答を取り入れた。
本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性に対するロバストな尺度を提供することである。
論文 参考訳(メタデータ) (2023-11-14T12:12:02Z) - Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。
タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。
近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
論文 参考訳(メタデータ) (2022-12-04T23:59:41Z) - IRJIT: A simple, online, information retrieval approach for just-in-time
software defect prediction [11.016730029019524]
ジャスト・イン・タイムのソフトウェア欠陥予測は、コミットチェックイン時にそれらを特定することによって、ソフトウェアに欠陥を導入するのを防ぐ。
現在の欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。
我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
論文 参考訳(メタデータ) (2022-10-05T17:54:53Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z) - Focused Attention Improves Document-Grounded Generation [111.42360617630669]
文書基盤生成は、文書に提供される情報を用いてテキスト生成を改善するタスクである。
本研究はwikipedia更新生成タスクと対話応答生成という2つの異なる文書基底生成タスクに焦点を当てている。
論文 参考訳(メタデータ) (2021-04-26T16:56:29Z) - Revisiting Challenges in Data-to-Text Generation with Fact Grounding [2.969705152497174]
大規模データセットであるRotoWire-FG(Ground-Facting)を導入し、2017-19年のデータは50%増加した。
我々は,テーブル再構築の新たな形式を統合することにより,最先端モデルに対するデータ忠実度の向上を実現した。
論文 参考訳(メタデータ) (2020-01-12T02:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。