論文の概要: Evaluating Interactive Summarization: an Expansion-Based Framework

• arxiv url: http://arxiv.org/abs/2009.08380v1
• Date: Thu, 17 Sep 2020 15:48:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 09:09:32.628886
• Title: Evaluating Interactive Summarization: an Expansion-Based Framework
• Title（参考訳）: 対話型要約の評価: 拡張ベースのフレームワーク
• Authors: Ori Shapira, Ramakanth Pasunuru, Hadar Ronen, Mohit Bansal, Yael Amsterdamer, Ido Dagan
• Abstract要約: 対話型要約のためのエンドツーエンド評価フレームワークを開発した。 我々のフレームワークには、実際のユーザセッションの収集手順と、標準に依存する評価方法が含まれています。 当社のソリューションはすべて、ベンチマークとして公開されることを意図しています。
• 参考スコア（独自算出の注目度）: 97.0077722128397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Allowing users to interact with multi-document summarizers is a promising direction towards improving and customizing summary results. Different ideas for interactive summarization have been proposed in previous work but these solutions are highly divergent and incomparable. In this paper, we develop an end-to-end evaluation framework for expansion-based interactive summarization, which considers the accumulating information along an interactive session. Our framework includes a procedure of collecting real user sessions and evaluation measures relying on standards, but adapted to reflect interaction. All of our solutions are intended to be released publicly as a benchmark, allowing comparison of future developments in interactive summarization. We demonstrate the use of our framework by evaluating and comparing baseline implementations that we developed for this purpose, which will serve as part of our benchmark. Our extensive experimentation and analysis of these systems motivate our design choices and support the viability of our framework.
• Abstract（参考訳）: ユーザがマルチドキュメントサマリと対話できるようにすることは、サマリ結果の改善とカスタマイズに有望な方向だ。 インタラクティブな要約のための異なるアイデアがこれまでの研究で提案されているが、これらの解は高度にばらつきがあり、相容れない。 本稿では,対話型セッションに沿って情報を蓄積することを考慮した,拡張型インタラクティブ要約のためのエンドツーエンド評価フレームワークを開発する。 本フレームワークは,標準に基づく実際のユーザセッションの収集と評価方法を含むが,インタラクションの反映に適応する。 すべてのソリューションは、ベンチマークとして公開され、インタラクティブな要約における将来の開発の比較を可能にします。 我々は、この目的のために開発したベースライン実装を評価し比較することにより、ベンチマークの一部として機能するフレームワークの使用を実証する。 これらのシステムの広範な実験と分析は、設計の選択を動機付け、フレームワークの存続性をサポートします。

関連論文リスト

• Revisiting Benchmark and Assessment: An Agent-based Exploratory Dynamic Evaluation Framework for LLMs [29.72874725703848]
  従来のQAベンチマークを、より柔軟な"戦略基準"フォーマットに拡張するBenchmark+と、インタラクションプロセスを強化するAccess+という2つの概念を紹介します。 本研究では,これらの概念を検索の強化と強化学習を通じて実装するTestAgentというエージェントベース評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T11:20:42Z)
• Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
  大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。 我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。 複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-09T08:24:17Z)
• Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization [13.736656652049884]
  マルチモーダル要約は入力テキストと画像に基づいて簡潔な要約を生成することを目的としている。 マルチモーダル要約モデルの現実性を評価するために,2つのきめ細かな説明可能な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T01:03:25Z)
• Using Textual Interface to Align External Knowledge for End-to-End Task-Oriented Dialogue Systems [53.38517204698343]
  本稿では,外部知識の整合化と冗長なプロセスの排除にテキストインタフェースを用いた新しいパラダイムを提案する。 我々は、MultiWOZ-Remakeを用いて、MultiWOZデータベース用に構築されたインタラクティブテキストインタフェースを含む、我々のパラダイムを実演する。
  論文  参考訳（メタデータ） (2023-05-23T05:48:21Z)
• Make The Most of Prior Data: A Solution for Interactive Text Summarization with Preference Feedback [15.22874706089491]
  我々は、好みのフィードバックで要約モデルを対話的に訓練する新しいフレームワークを導入する。 オフラインデータと新しい報酬モデルを適切に活用することにより、ROUGEスコアとサンプル効率に関する性能を向上させる。
  論文  参考訳（メタデータ） (2022-04-12T03:56:59Z)
• FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment Act Flows [63.116280145770006]
  本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。 セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
  論文  参考訳（メタデータ） (2022-02-14T11:37:20Z)
• Evaluating Bayesian Model Visualisations [0.39845810840390733]
  確率モデルは、最終的に人々が下した幅広いビジネスおよび政策決定を知らせる。 近年のアルゴリズム,計算,ソフトウェアフレームワークの開発はベイズ確率モデルの普及を促進する。 意思決定者は複雑なクエリを探索し、理論上はWhat-if-style条件付けを行うことができるが、不確実性の下でユーザの理解と合理的な意思決定を最大化するためには、適切な視覚化と対話ツールが必要である。
  論文  参考訳（メタデータ） (2022-01-10T19:15:39Z)
• iFacetSum: Coreference-based Interactive Faceted Summarization for Multi-Document Exploration [63.272359227081836]
  iFacetSumは、インタラクティブな要約と顔検索を統合している。 微粒なファセットは、クロスドキュメントのコア参照パイプラインに基づいて自動的に生成される。
  論文  参考訳（メタデータ） (2021-09-23T20:01:11Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。