論文の概要: FRUIT: Faithfully Reflecting Updated Information in Text

• arxiv url: http://arxiv.org/abs/2112.08634v1
• Date: Thu, 16 Dec 2021 05:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-18 04:23:11.746587
• Title: FRUIT: Faithfully Reflecting Updated Information in Text
• Title（参考訳）: FRUIT: 更新された情報をテキストで忠実に反映
• Authors: Robert L. Logan IV, Alexandre Passos, Sameer Singh and Ming-Wei Chang
• Abstract要約: FRUIT(FruIT)で更新情報を反映した新しい生成タスクについて紹介する。 我々の分析は、記事の更新が可能なモデルを開発するには、ニューラルジェネレーションモデルに新しい能力が必要であることを示している。
• 参考スコア（独自算出の注目度）: 106.40177769765512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Textual knowledge bases such as Wikipedia require considerable effort to keep up to date and consistent. While automated writing assistants could potentially ease this burden, the problem of suggesting edits grounded in external knowledge has been under-explored. In this paper, we introduce the novel generation task of *faithfully reflecting updated information in text*(FRUIT) where the goal is to update an existing article given new evidence. We release the FRUIT-WIKI dataset, a collection of over 170K distantly supervised data produced from pairs of Wikipedia snapshots, along with our data generation pipeline and a gold evaluation set of 914 instances whose edits are guaranteed to be supported by the evidence. We provide benchmark results for popular generation systems as well as EDIT5 -- a T5-based approach tailored to editing we introduce that establishes the state of the art. Our analysis shows that developing models that can update articles faithfully requires new capabilities for neural generation models, and opens doors to many new applications.
• Abstract（参考訳）: Wikipediaのようなテキストの知識基盤は、最新の状態と一貫性を維持するためにかなりの努力を必要とする。 自動筆記アシスタントは、この負担を軽減する可能性があるが、外部の知識に根ざした編集を提案する問題は過小評価されている。 本稿では,更新された情報をテキスト*(FRUIT)に忠実に反映する新規な生成タスクについて紹介する。 fruit-wikiデータセットをリリースした。wikipediaスナップショットのペアから生成された170万以上の遠隔監視データと、データ生成パイプラインと、証拠によって編集が保証された914インスタンスのゴールド評価セットのコレクションです。 私たちは、一般的な世代システムとEDIT5のベンチマーク結果を提供しています。 分析の結果、論文を忠実に更新できるモデルの開発にはニューラルジェネレーションモデルに新たな能力が必要であり、多くの新しいアプリケーションへの扉を開くことが判明した。

関連論文リスト

• Improving Factuality with Explicit Working Memory [68.39261790277615]
  大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
  論文  参考訳（メタデータ） (2024-12-24T00:55:59Z)
• Movie2Story: A framework for understanding videos and telling stories in the form of novel text [0.0]
  補助情報に富んだシナリオにおけるテキスト生成能力を評価するための新しいベンチマークを提案する。 本研究は,高精度な補助情報の提供を確実にするための,革新的な自動データセット生成手法を提案する。 本実験により, 提案した評価指標に基づいて, 現在のMLLM(Multi-modal Large Language Models)が準最適に動作していることが判明した。
  論文  参考訳（メタデータ） (2024-12-19T15:44:04Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• IRJIT: A Simple, Online, Information Retrieval Approach for Just-In-Time Software Defect Prediction [10.084626547964389]
  Just-in-Timeソフトウェア欠陥予測(JIT-SDP)は、コミットチェックイン時にそれらを特定することによって、ソフトウェアへの欠陥の導入を防止する。 現在のソフトウェア欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。 我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:54:53Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。