論文の概要: FRUIT: Faithfully Reflecting Updated Information in Text

• arxiv url: http://arxiv.org/abs/2112.08634v1
• Date: Thu, 16 Dec 2021 05:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 04:23:11.746587
• Title: FRUIT: Faithfully Reflecting Updated Information in Text
• Title（参考訳）: FRUIT: 更新された情報をテキストで忠実に反映
• Authors: Robert L. Logan IV, Alexandre Passos, Sameer Singh and Ming-Wei Chang
• Abstract要約: FRUIT(FruIT)で更新情報を反映した新しい生成タスクについて紹介する。 我々の分析は、記事の更新が可能なモデルを開発するには、ニューラルジェネレーションモデルに新しい能力が必要であることを示している。
• 参考スコア（独自算出の注目度）: 106.40177769765512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Textual knowledge bases such as Wikipedia require considerable effort to keep up to date and consistent. While automated writing assistants could potentially ease this burden, the problem of suggesting edits grounded in external knowledge has been under-explored. In this paper, we introduce the novel generation task of *faithfully reflecting updated information in text*(FRUIT) where the goal is to update an existing article given new evidence. We release the FRUIT-WIKI dataset, a collection of over 170K distantly supervised data produced from pairs of Wikipedia snapshots, along with our data generation pipeline and a gold evaluation set of 914 instances whose edits are guaranteed to be supported by the evidence. We provide benchmark results for popular generation systems as well as EDIT5 -- a T5-based approach tailored to editing we introduce that establishes the state of the art. Our analysis shows that developing models that can update articles faithfully requires new capabilities for neural generation models, and opens doors to many new applications.
• Abstract（参考訳）: Wikipediaのようなテキストの知識基盤は、最新の状態と一貫性を維持するためにかなりの努力を必要とする。 自動筆記アシスタントは、この負担を軽減する可能性があるが、外部の知識に根ざした編集を提案する問題は過小評価されている。 本稿では,更新された情報をテキスト*(FRUIT)に忠実に反映する新規な生成タスクについて紹介する。 fruit-wikiデータセットをリリースした。wikipediaスナップショットのペアから生成された170万以上の遠隔監視データと、データ生成パイプラインと、証拠によって編集が保証された914インスタンスのゴールド評価セットのコレクションです。 私たちは、一般的な世代システムとEDIT5のベンチマーク結果を提供しています。 分析の結果、論文を忠実に更新できるモデルの開発にはニューラルジェネレーションモデルに新たな能力が必要であり、多くの新しいアプリケーションへの扉を開くことが判明した。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• Detecting Edited Knowledge in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• IRJIT: A Simple, Online, Information Retrieval Approach for Just-In-Time Software Defect Prediction [10.084626547964389]
  Just-in-Timeソフトウェア欠陥予測(JIT-SDP)は、コミットチェックイン時にそれらを特定することによって、ソフトウェアへの欠陥の導入を防止する。 現在のソフトウェア欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。 我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:54:53Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• Focused Attention Improves Document-Grounded Generation [111.42360617630669]
  文書基盤生成は、文書に提供される情報を用いてテキスト生成を改善するタスクである。 本研究はwikipedia更新生成タスクと対話応答生成という2つの異なる文書基底生成タスクに焦点を当てている。
  論文  参考訳（メタデータ） (2021-04-26T16:56:29Z)
• Revisiting Challenges in Data-to-Text Generation with Fact Grounding [2.969705152497174]
  大規模データセットであるRotoWire-FG(Ground-Facting)を導入し、2017-19年のデータは50%増加した。 我々は,テーブル再構築の新たな形式を統合することにより,最先端モデルに対するデータ忠実度の向上を実現した。
  論文  参考訳（メタデータ） (2020-01-12T02:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。