論文の概要、ライセンス

# (参考訳) ALIGNMEET:ミーティングアノテーション、アライメント、評価のための総合ツール [全文訳有]

ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and Evaluation ( http://arxiv.org/abs/2205.05433v1 )

ライセンス: CC BY 4.0
Peter Pol\'ak, Muskaan Singh, Anna Nedoluzhko, Ond\v{r}ej Bojar(参考訳) 要約は難しい問題であり、さらに難しいのは、手動で要約を作成し、修正し、評価することだ。 会議設定において、入力が多人数対話であるときに問題の深刻度が増大する。 そこで本研究では,アノテーション,アライメント,評価の総合的なツールであるALIGNMEETについて紹介する。 このツールは、エラーを起こすリスクを軽減しつつ、高速なアノテーションのための効率的で明確なインターフェースを提供することを目的としている。 さらに,会議時間に関する総合的な品質評価を可能にする評価モードも追加する。 私たちの知る限りでは、そのようなツールは利用できません。 ツールをオープンソースとしてリリースしています。 PyPIから直接インストールすることもできる。

Summarization is a challenging problem, and even more challenging is to manually create, correct, and evaluate the summaries. The severity of the problem grows when the inputs are multi-party dialogues in a meeting setup. To facilitate the research in this area, we present ALIGNMEET, a comprehensive tool for meeting annotation, alignment, and evaluation. The tool aims to provide an efficient and clear interface for fast annotation while mitigating the risk of introducing errors. Moreover, we add an evaluation mode that enables a comprehensive quality evaluation of meeting minutes. To the best of our knowledge, there is no such tool available. We release the tool as open source. It is also directly installable from PyPI.
公開日: Wed, 11 May 2022 12:16:56 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
ALIGNMEET: A Comprehensive Tool for Meeting Annotation, alignmeet: アノテーションをミーティングするための包括的なツール 0.62
Alignment, and Evaluation Peter Pol´ak, Muskaan Singh, Anna Nedoluzhko, Ondˇrej Bojar アライメントと評価 ピーター・ポル・ダック、マスカアン・シン、アンナ・ネドルウシュコ、オンデレー・ボジャル 0.58
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics チャールズ大学 数学・物理学部 形式・応用言語学研究所 0.66
{polak,singh,nedoluzh ko,bojar}@ufal.mff.cuni.cz {polak,singh,nedoluzh ko,bojar}@ufal.mff.cuni.cz 0.39
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] L C . s c [ 1 v 3 3 4 5 0 ]LC。 sc [ 1 v 3 3 4 5 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Summarization is a challenging problem, and even more challenging is to manually create, correct, and evaluate the summaries. 要約は難しい問題であり、さらに難しいのは、手動で要約を作成し、修正し、評価することだ。 0.65
The severity of the problem grows when the inputs are multi-party dialogues in a meeting setup. 会議設定において、入力が多人数対話であるときに問題の深刻度が増大する。 0.62
To facilitate the research in this area, we present ALIGNMEET, a comprehensive tool for meeting annotation, alignment, and evaluation. そこで本研究では,アノテーション,アライメント,評価の総合的なツールであるALIGNMEETについて紹介する。 0.65
The tool aims to provide an efficient and clear interface for fast annotation while mitigating the risk of introducing errors. このツールは、エラーを起こすリスクを軽減しつつ、高速なアノテーションのための効率的で明確なインターフェースを提供することを目的としている。 0.53
Moreover, we add an evaluation mode that enables a comprehensive quality evaluation of meeting minutes. さらに,会議時間に関する総合的な品質評価を可能にする評価モードも追加する。 0.72
To the best of our knowledge, there is no such tool available. 私たちの知る限りでは、そのようなツールは利用できません。 0.70
We release the tool as open source. ツールをオープンソースとしてリリースしています。 0.62
It is also directly installable from PyPI. PyPIから直接インストールすることもできる。 0.81
Abstract Keywords: meeting summarization, meeting minutes, minuting, annotation, evaluation 概要 キーワード:会議要約、会議時間、熟成、注釈、評価 0.56
1. Introduction Meeting summarization into meeting minutes is primarily focused on topical coverage rather than on fluency or coherence. 1. はじめに 会議の議事録への要約は主に、流布や一貫性よりもトピックのカバレッジに焦点を当てている。 0.47
It is a challenging and tedious task, even when meeting summaries are created manually. 要約を手作業で作成しても、これは難しくて面倒な作業です。 0.59
The resulting summaries vary in the goals, style, and they are inevitably very subjective due to the human in the loop. 結果の要約は目的やスタイルによって異なり、ループ内の人間のために必然的に非常に主観的である。 0.68
Also, the awareness of the context of the meeting is essential to create adequate and informative summaries. また、会議の文脈に対する意識は、適切な情報的な要約を作成するために不可欠である。 0.55
1.1. Motivation First, there is a scarcity of large-scale meeting datasets: There are a few meeting corpora, such as AMI (McCowan et al , 2005) and ICSI (Janin et al , 2003), which are rather small, on the order of a few dozens of hours each as represented in Table 1. 1.1. ami (mccowan et al , 2005) や icsi (janin et al , 2003) など,テーブル 1 に表される数十時間単位の順序で,かなり小さなミーティングコーパスがいくつか存在する。
訳抜け防止モード: 1.1. モチベーション 第一に、大規模なミーティングデータセットは不足している :AMI(McMowan et al, 2005)など,いくつかのミーティングコーパスが存在する。 ICSI (Janin et al, 2003) 表1に示すように、それぞれ数十時間の順序で、かなり小さい。
0.49
Due to this fact, meeting summarization models are usually trained on news (Grusky et al , 2018), stories (Hermann et al , 2015), Wikipedia (Frefel, 2020; Antognini and Faltings, 2020), and other textual corpora, relating poorly to meetings. この事実から、ミーティングの要約モデルは通常、ニュース(grusky et al , 2018)、ストーリーズ(hermann et al , 2015)、wikipedia(frefel, 2020; antognini and faltings, 2020)、その他、会議に関するテキストコーパスで訓練される。 0.72
Second, when one tries to create such a collection or when a new meeting is to be processed, a reliable transcript is needed, which is often impossible for the current automatic speech recognition systems (ASR). 第二に、そのようなコレクションを作成しようとする場合や、新しい会議が処理される場合、信頼できる書き起こしが必要であり、しばしば現在の自動音声認識システム(ASR)では不可能である。 0.79
It usually requires a large amount of processing to make the transcript suitable for summarization. 通常、要約に適した書き起こしをするために大量の処理を必要とする。 0.76
Third, meeting transcripts are usually long text documents consisting of multi-party dialogues (see Table 1) with multiple topics. 第3に、会議の書き起こしは通常、多人数対話からなる長いテキスト文書である(表1参照)。 0.74
Moreover, meeting summaries are also longer compared to text summaries. また、会議要約はテキスト要約よりも長くなる。 0.52
The manifold structure and length of meeting transcripts and summaries make it difficult to traverse and follow the information for human annotators. 合成書や要約の多様体構造や長さは、人間のアノテーションの情報を横断して追跡することが困難である。
訳抜け防止モード: 集合転写と要約の多様体構造と長さが成立する 人のアノテーターの情報を 追跡することは困難です
0.72
Even training is difficult for a neural attention summarization model (Zhu et al , 2020b) with such input complexities. このような複雑な入力を持つ神経注意要約モデル(Zhu et al , 2020b)では,訓練も困難である。 0.77
Finally, evaluation of meeting summarization requires immediate access to the meeting transcript and sometimes even to the original sound recording to assess 最後に、会議要約の評価には、会議書への即時アクセスが必要であり、時には元の録音にもアクセスして評価する必要がある。
訳抜け防止モード: 最後に、会議要約の評価には、会議書への即時アクセスが必要である。 時に音を録音して
0.60
the quality of a particular summary point. 特定の要約点の品質。 0.52
The length of meeting transcripts and the amount of information quantity contained in a meeting itself easily cause a significant cognitive overload. ミーティングの書き起こしの長さと会議自体に含まれる情報量の量は、重要な認知的過負荷を引き起こす。 0.73
1.2. Contribution We present an efficient, clean, and intuitive comprehensive alignment and evaluation tool which brings the following contributions: 1.2. コントリビューション 我々は、効率的でクリーンで直感的な総合的なアライメントと評価ツールを提示します。
訳抜け防止モード: 1.2. コントリビュート 効率的でクリーンで直感的な総合的なアライメント そして、以下の貢献をもたらす評価ツール。
0.49
• An annotation platform for data creation and mod- •データ作成とmodのためのアノテーションプラットフォーム 0.84
ification with multiple speaker support. 複数の話者のサポート付き化。 0.69
• Alignment between parts of a transcript with cor- • 転写産物の部分とcor-とのアライメント 0.65
responding parts of summary. 要約の一部に反応します 0.59
• A novel evaluation strategy of meeting summaries •会議要約の新たな評価戦略 0.70
which we integrate into the tool. We release the tool as open source.1 ツールに統合します ツールをオープンソースとしてリリースしています。 0.48
It is also directly installable from PyPI.2 PyPI.2から直接インストールすることもできる。 0.69
2. Related Work This section studies existing annotation tools and evaluation strategies for meeting summarization. 2.関連業務 本稿では,既存のアノテーションツールとアセスメント戦略について考察する。 0.70
2.1. Annotation Tools Table 2 compares ALIGNMEET with other recent annotation tools for dialogue, conversation and meeting data. 2.1. アノテーションツール 表2は、対話、会話、ミーティングデータのための他の最近のアノテーションツールと比較します。 0.51
Most of the tools were designed for data curation. ツールのほとんどはデータキュレーション用に設計された。 0.85
However, only some of them allow modifying the underlying datasets (see column D). しかし、基礎となるデータセットを変更できるのは一部のみである(カラムDを参照)。 0.69
Segmenting the dialogues or turns is possible in some tools (see column A) while speaker annotation is possible in almost all tools (column B). いくつかのツール(カラムA参照)では対話や回転のセグメンテーションが可能であり、ほとんどすべてのツール(カラムB)では話者アノテーションが可能である。 0.68
ALIGNMEET provides additional features of alignment and evaluation of meeting summaries. ALIGNMEETは会議要約のアライメントと評価の付加的な機能を提供する。 0.68
DialogueView (Heeman et al , 2002) is a tool for annotation of dialogues with utterance boundaries, speech dialogueview (heeman et al , 2002) は発話境界のある対話を注釈するためのツールである。 0.84
1https://github.com/ ELITR/alignmeet 2pip install alignmeet 1https://github.com/ ELITR/alignmeet 2pip installalignedmeet 0.24
英語(論文から抽出)日本語訳スコア
Category Dataset Meeting カテゴリデータセット会議 0.86
AutoMin (English) (Ghosal et al , 2021) AutoMin (Czech) (Ghosal et al , 2021) ICSI (Janin et al , 2003) AMI (McCowan et al , 2005) AutoMin (英語) (Ghosal et al , 2021) AutoMin (Czech) (Ghosal et al , 2021) ICSI (Janin et al , 2003) AMI (McCowan et al , 2005)
訳抜け防止モード: AutoMin (英語) (Ghosal et al, 2021 ) AutoMin (チェコ語) (Ghosal et al, 2021 ) ICSI (Janin et al, 2021 ) 2003年)AMI(McMowan et al , 2005)
0.85
Dialogue MEDIASum (Zhu et al , 2021) SAMSUM (Gliwa et al , 2019) CRD3 (Rameshkumar and Bailey, 2020) DiDi (Liu et al , 2019) MultiWoz (Budzianowski et al , 2018) MEDIASum (Zhu et al , 2021) SAMSUM (Gliwa et al , 2019) CRD3 (Rameshkumar and Bailey, 2020) DiDi (Liu et al , 2019) MultiWoz (Budzianowski et al , 2018) 0.41
# Meetings Avg Words (trans) Avg Words (summ) Avg Turns (trans) Avg # of speakers 5.7 3.6 6.2 4.0 6.5 2.2 9.6 2.0 2.0 # Meetings Avg Words (trans) Avg Words (summ) Avg Turns (trans) Avg # of speakers 5.7 3.6 6.2 4.5 2.2 9.6 2.0 2.0 0.39
113 53 61 137 463,596 16,369 159 328,880 10,438 113 53 61 137 463,596 16,369 159 328,880 10,438 0.33
9,537 11,784 9,795 6,970 1,554 84 31,803180 9,537 11,784 9,795 6,970 1,554 84 31,803180 0.24
578 292 638 179 14 20 2,06292 578 292 638 179 14 20 2,06292 0.47
242 579 456 335 30 10 2,50714 242 579 456 335 30 10 2,50714 0.47
Table 1: Dialogue and meeting summarization datasets statistics. 表1: 対話と会議の要約データセット統計。 0.87
The number of words for dialogue, summary, turns, and speakers are averaged across the entire dataset. 対話、要約、ターン、話者の単語の数は、データセット全体にわたって平均化されます。 0.70
The meeting dataset statistics have been calculated and dialogue dataset statistics have been derived from Zhu et al (2021). 会議データセット統計は計算され、対話データセット統計は Zhu et al (2021) から導かれた。 0.76
Tool ALIGNMEET (ours) ELAN (Brugman et al , 2004) EXMARaLDA (Schmidt and W¨orner, 2009) MATILDA (Cucurnia et al , 2021) metaCAT (Liu et al , 2020) LIDA (Collins et al , 2019) INCEpTion (Klie et al , 2018) DOCCANO (Nakayama et al , 2018) BRAT (Stenetorp et al , 2012) NITE (Kilgour and Carletta, 2006) SPAACy (Weisser, 2003) DialogueView (Heeman et al , 2002) ANVIL (Kipp, 2001) NOMOS (Gruenstein et al , 2005) TWIST (Pl¨uss, Brian, 2012) Tool ALIGNMEET (ours) ELAN (Brugman et al , 2004) EXMARaLDA (Schmidt and W sorner, 2009) MATILDA (Cucurnia et al , 2021) metaCAT (Liu et al , 2020) LIDA (Collins et al , 2019) INCEpTion (Klie et al , 2018) DOCCANO (Nakayama et al , 2018) BRAT (Stenetorp et al , 2012) NITE (Kilgour and Carletta, 2006) SPAACy (Weisser, 2003) DialogueView (Heeman et al , 2002) ANIL (Kipp NOOS, 2001) (Grustein, 2005) TIST (Brians, 2012) 0.41
A       A       0.42
     B                    B               0.43
C       C       0.42
    D         D (複数形 Ds) 0.49
  E   F    という。 略称f。 0.41
G      略称は「g」。   0.42
  H Python   H Python 0.42
Python Python Python Java Python Python Java Perl/Tk Tcl/Tk Java Java - Python Python Python Python Python Python Python Java Perl/Tk Tcl/Tk Java Java - 0.42
Table 2: Annotation Tool Comparison Table. 表2:アノテーションツールの比較テーブル。 0.83
Notation: A – Turn/Dialogue Segmentation, B – Edit Speaker Annotation, C – Data Curation, D – Data Modifications, E – Alignment, F – Evaluation, G – Audio/video playback, H – Programming Language. a - ターン/ダイアログセグメンテーション、b - 話者アノテーション、c - データキュレーション、d - データ修正、e - アライメント、f - 評価、g - 音声/ビデオ再生、h - プログラミング言語。
訳抜け防止モード: 表記 : A - Turn / Dialogue Segmentation, B - Edit Speaker Annotation C – データキュレーション、D – データ修正、E – アライメント F - 評価、G - オーディオ/ビデオ再生、H - プログラミング言語。
0.76
repairs, speech act tags, and discourse segments. 補修、音声行為のタグ、談話のセグメント。 0.52
It fails to capture inter-annotator reliability. アノテーション間の信頼性をキャプチャできない。 0.50
TWIST (Pl¨uss, Brian, 2012) is a tool for dialogue annotation consisting of turn segmentation and content feature annotation. TWIST(Pl suss, Brian, 2012)は、ターンセグメンテーションとコンテンツ特徴アノテーションからなる対話アノテーションのツールである。 0.74
The turn segmentation allows users to create new turn segments. ターンセグメンテーションにより、ユーザーは新しいターンセグメンテーションを作成できる。 0.63
Further, each segment can be labeled by selecting from a pre-defined feature list. さらに、事前に定義された特徴リストから各セグメントを選択することでラベル付けすることができる。 0.62
This limits the user to pre-defined values. これにより、ユーザーは事前定義された値に制限される。 0.47
BRAT (Stenetorp et al , 2012) and DOCCANO (Nakayama et al , 2018) are simple web-based annotation tools where you can only edit the dialogue and turns. BRAT (Stenetorp et al , 2012) とDOCCANO (Nakayama et al , 2018) は単純なWebベースのアノテーションツールで、対話や回転のみを編集できる。 0.77
BRAT also provides the user with automated recommendations. BRATはまた、ユーザーに自動レコメンデーションを提供する。 0.61
INCEpTion (Klie et al , 2018) is a platform for annotation of semantic resources such as entity linking. INCEpTion (Klie et al , 2018) はエンティティリンクのようなセマンティックリソースのアノテーションのためのプラットフォームである。 0.78
It provides automated recommendations to the user for annotation. アノテーションのための自動レコメンデーションをユーザに提供します。 0.61
NOMOS (Gruenstein et al , 2005) is an annotation tool designed for corpus development and various other annotation tasks. NOMOS(Gruenstein et al , 2005)は、コーパス開発やその他のアノテーションタスク用に設計されたアノテーションツールである。 0.73
Its main functionality includes multi-channel audio and video playback, compatibility with different corpora, platform independence and presentation of temporal, non-temporal, and related information. 主な機能は、マルチチャンネルオーディオとビデオ再生、異なるコーパスとの互換性、プラットフォーム独立、時間的、非時間的、関連情報の提示である。 0.66
This tool is difficult to use by non-technical users and also lacks extensibility. このツールは非技術者が使うのが難しく、拡張性にも欠ける。 0.66
ANVIL (Kipp, 2001) allows multi-modal annotation of dialogues with the granularity in multiple layers of attribute-value pairs. ANVIL (Kipp, 2001) は複数の属性値対の層に粒度を持つ対話のマルチモーダルアノテーションを可能にする。 0.77
It also provides the feature of statistical processing but lacks the flexibility to add information to the annotation. 統計処理の機能も提供するが、アノテーションに情報を追加する柔軟性に欠ける。 0.74
NITE (Kilgour and Carletta, 2006) is another multi-modal annotation tool aiding in corpora creation. NITE (Kilgour and Carletta, 2006) は、コーパス作成を支援する別のマルチモーダルアノテーションツールである。 0.75
The tool supports the time-alignment of annotation en- このツールはアノテーションの時間アライメントをサポートする。 0.70
tities such as transcripts or dialogue structure. 転写や対話構造のような組織。 0.58
SPAACy (Weisser, 2003) is a semi-automated tool for annotating dialogue acts. SPAACy (Weisser, 2003) は、対話行為を注釈付けするための半自動ツールである。 0.66
It aids in corpus creation with tagging such as topic, mode, and polarity. トピック、モード、極性といったタグ付けによるコーパス生成を支援する。 0.57
In addition, it produces transcriptions in XML format that require a little post-editing. さらに、少し編集後を必要とするXMLフォーマットで書き起こしを生成する。 0.68
LIDA (Collins et al , 2019) is one of the most prominent tools for modern task-oriented dialogues with recommendations. LIDA(Collins et al , 2019)は、現代のタスク指向の対話とレコメンデーションのための最も顕著なツールの1つである。 0.63
However, LIDA does not support more than two speakers in the conversation or additional labeling (e g , co-reference annotation). しかし、LIDAは会話や追加のラベル付け(例えば、共参照アノテーション)において2人以上の話者をサポートしない。 0.68
MATILDA (Cucurnia et al , 2021) and metaCAT (Liu et al , 2020) address some of the downsides. MATILDA (Cucurnia et al , 2021) と metaCAT (Liu et al , 2020) はいくつかの欠点に対処している。 0.83
They add features such as inter-annotator disagreement resolution, customizable recommendations, multiplelanguage support, and user administration. アノテーション間の不一致解決、カスタマイズ可能なレコメンデーション、複数言語のサポート、ユーザ管理などが追加されている。 0.56
They still lack support for multiple speakers. いまだに複数の話者のサポートが欠けている。 0.57
All these annotation tools provide annotation for dialogues, but for various textual phenomena. これらのアノテーションツールはすべて、対話のためのアノテーションを提供するが、様々なテキスト現象のためのものだ。 0.47
Our tool ALIGNMEET is specifically designed for meeting data creation or modification, alignment of meeting transcript regions with the corresponding summary items, and their evaluation. ツールALIGNMEETは,データ作成や修正,文書領域と対応する要約項目との整合性,およびそれらの評価に特化して設計されている。 0.62
We also support dialogue and conversational datasets. 対話や会話データセットもサポートする。 0.65
2.2. Manual Evaluation Several researchers working on summarization have considered qualitative summary evaluation. 2.2. 手動による評価 要約の研究者が定性的な要約評価を検討した。 0.48
The qualitative parameters include accuracy (Zechner, 2001b; Zechner, 2001a; Goo and Chen, 2018; Nihei et al , 2018; Lai et al , 2013) which usually assesses the lexical similarity between produced text samples and the 定性的なパラメータには、精度(zechner, 2001b; zechner, 2001a; goo and chen, 2018; nihei et al , 2018; lai et al , 2013)が含まれ、通常、生成したテキストサンプルとそれらとの辞書の類似性を評価する。 0.70
英語(論文から抽出)日本語訳スコア
reference ones utilizing standard metrics such as BLEU (Papineni et al , 2002) or ROUGE (Lin, 2004). BLEU (Papineni et al , 2002) やROUGE (Lin, 2004) などの標準メトリクスを利用した参照。 0.80
The accuracy is easily computed in some of the applications when reference texts are available. この精度は、参照テキストが利用可能である場合、いくつかのアプリケーションで容易に計算できる。 0.59
Grammaticality measures the capability of a model to produce grammatically correct texts (Liu and Liu, 2009; Mehdad et al., 2013). 文法性は、モデルが文法的に正しいテキストを生成する能力を測定する(Liu and Liu, 2009; Mehdad et al., 2013)。 0.77
It is mostly assessed by counting the different types of errors. 主に、異なるタイプのエラーをカウントすることで評価される。 0.74
Adequacy (D’Haro et al , 2019; Ma and Sun, 2017; McBurney and McMillan, 2014; Arumae and Liu, 2019; Libovick´y et al , 2018) rates the amount of meaning expressed in the generated sample given a reference sample. Adequacy (D’Haro et al , 2019; Ma and Sun, 2017; McBurney and McMillan, 2014; Arumae and Liu, 2019; Libovick ́y et al , 2018) は、生成されたサンプルに参照された意味の量を測定する。 0.90
Human participants and categorical scales dominate the assessment process. 人間の参加者とカテゴリースケールが評価プロセスを支配します。 0.59
Topicality expresses how well does the generated sample topic match one of the reference samples (Riedhammer et al , 2008; Arumae and Liu, 2019; Fang et al , 2017). Topicalityは、生成されたサンプルトピックが基準サンプルの1つ(Riedhammer et al , 2008; Arumae and Liu, 2019; Fang et al , 2017)とどの程度うまく一致しているかを示している。 0.75
Naturalness shows the likelihood of a text being natural or written by a human being rather than automatically generated (C¸ ano and Bojar, 2020). 自然性は、テキストが自然であるか、人間によって書かれたか、自動生成されるかの可能性を示している(C > ano and Bojar, 2020)。 0.67
Relevance represents how closely are the documents related (Bhatia et al., 2014; Erol et al , 2003; Murray et al , 2010; Zhu et al., 2020a; Zhang and Fung, 2012; Zhu et al , 2020b; Lee et al , 2020). 関連づけは、関連文書(bhatia et al., 2014; erol et al , 2003; murray et al , 2010; zhu et al., 2020a; zhang and fung, 2012; zhu et al , 2020b; lee et al , 2020)の関連性を示す。
訳抜け防止モード: 関連性(bhatia et al )は、関連文書がどの程度近いかを表す。 2014 ; Erol et al, 2003 ; Murray et al, 2010 ; Zhu et al ., 2020a ; Zhang and Fung, 2012 ; Zhu et al, 2020b ; Lee et al, 2020a )。
0.89
Consistency represents the degree of agreement with the original content (Kry´sci´nski et al , 2019; Wang et al , 2020; Lee et al , 2020). 一貫性はオリジナルコンテンツ(Kry ́sci ́nski et al , 2019; Wang et al , 2020; Lee et al , 2020)との一致度を表す。 0.85
Fluency represents the quality of expression (Oya, 2014; Wang and Cardie, 2013; Oya et al , 2014; Lee et al , 2020). fluencyは表現の質を表している(oya, 2014, wang and cardie, 2013, oya et al , 2014; lee et al , 2020)。 0.78
Coverage determines how much of the important content is covered from the source document in the summary (Sonjia and Gina-Anne, 2008; Gillick et al , 2009; Li et al , 2019; Mehdad et al , 2013). Coverageは、ソースドキュメントからどれだけ重要なコンテンツがカバーされているかを決定する(Sonjia and Gina-Anne, 2008; Gillick et al , 2009; Li et al , 2019; Mehdad et al , 2013)。 0.83
Informativeness represents the importance of the content captured in the summary (Zhang et al , 2021; Liu and Liu, 2009; Oya et al , 2014; Oya, 2014). インフォーマティヴネスは、要約で捉えた内容の重要性を表している(Zhang et al , 2021; Liu and Liu, 2009; Oya et al , 2014; Oya, 2014)。 0.82
Besides accuracy, the rest of the above quality criteria are assessed manually by human experts or survey participants (Zhu and Penn, 2006; Shirafuji et al , 2020). その他の品質基準は、精度の他に、人間の専門家や調査参加者(Zhu and Penn, 2006; Shirafuji et al, 2020)によって手作業で評価される。 0.74
2.3. Automatic Evaluation The current automatic evaluation of various text summarization tasks (including minuting) is mostly based on ROUGE or similar metrics that utilize n-gram comparisons (from single words to long patterns). 2.3. 自動評価 様々なテキスト要約タスク(マイニングを含む)の現在の自動評価は、主に、n-gramの比較(単語から長文まで)を利用するROUGEや類似のメトリクスに基づいている。 0.54
While automatic and fast, these metrics are often not able to reflect the quality issues of the text samples (See et al., 2017). 自動的で高速だが、これらのメトリクスはテキストサンプルの品質問題を反映できないことが多い(See et al., 2017)。 0.79
Some of the typical problems they miss are grammatical discrepancies, word repetitions, and more. 彼らが見逃す典型的な問題は、文法的な相違、単語の繰り返しなどである。 0.61
Novikova et al (2017; Reiter (2018) also report that automatic metrics do not correlate well with human evaluations. Novikova et al (2017; Reiter (2018) もまた、自動測定は人間の評価とよく相関しないと報告している。 0.79
To overcome these limitations, it is important to simultaneously run human evaluations (following a systematic protocol) of meeting summaries and augment the automatic metric scores with the manual ones. これらの制限を克服するためには、要約をまとめる人間の評価(体系的なプロトコルに従う)を同時に実行し、手動で自動測定スコアを増強することが重要である。 0.66
3. The ALIGNMEET Annotation Tool ALIGNMEET is a comprehensive annotation and evaluation tool. 3.ALIGNMEETアノテーションツールALIGNMEETは包括的なアノテーションおよび評価ツールである。 0.82
It supports all stages of the preparation 準備のすべての段階をサポートします 0.83
and/or evaluation of a corpus of multi-party meetings, i.e., creation and editing of meeting transcripts, annotating speakers, creating a summary, alignment of meeting segments to a summary, and meeting summary evaluation. 複数政党による会議のコーパス,すなわち,会議の書き起こしの作成と編集,アノテート話者,要約の作成,会議セグメントの要約へのアライメント,会議要約評価について検討した。 0.78
The tool is written in Python using PySide3 for GUI which makes the tool available on all major platforms (i.e., Windows, Linux, and macOS). このツールはpyside3 for guiを使ってpythonで書かれており、すべての主要なプラットフォーム(windows、linux、macosなど)でツールを利用できる。 0.82
3.1. Design Choices We represent a meeting with its transcript and summary in Figure 1. 3.1. 設計の選択 図1の書き起こしと要約でミーティングを表現します。 0.49
The transcripts are long documents consisting of multi-party dialogues (refer to the left side of the tool window). 書き起こしは、多人数の対話からなる長い文書である(ツールウィンドウの左側を参照)。 0.66
The meeting summary is a structured document. 会議の概要は構造化された文書です。 0.69
We decided to break down the meeting summary into separate summary points. 私たちは会議の概要を別の要約ポイントに分割することにしました。 0.51
A summary point roughly represents a line in a summary document (refer to the right part of the tool window). 要約ポイントは概して要約文書の行を表す(ツールウィンドウの右部分を参照)。 0.58
The meeting usually has more versions of transcripts (e g , generated by ASR and a manual one) and more versions of summaries (e g , supplied by meeting participants created during the meeting and others provided by an annotator). 会議は通常、多くの版(例えば、ASRが生成し、手動で作成する)と多くのバージョンの要約(例えば、会議中に作成された参加者とアノテーションによって提供される)がある。 0.64
We add drop-down lists to select a specific version of the transcript and summary. 書き起こしと要約の特定のバージョンを選択するためにドロップダウンリストを追加します。 0.61
If the user changes the version of one, the program loads the appropriate version of the alignment automatically. ユーザがバージョンを変更すると、プログラムは自動的にアライメントの適切なバージョンをロードする。 0.76
We segment the transcript into dialogue acts (DAs). 転写を対話行為(DA)に区分する。 0.45
A DA represents the meaning of an utterance at the level of illocutionary force (Austin, 1975). DAはイロカチオン力のレベルにおける発話の意味を表す(Austin, 1975)。 0.73
In the context of our tool, a DA represents a continuous portion of a transcript uttered by one speaker on a single topic. ツールの文脈では、DAは1つの話者が1つのトピックで発する書き起こしの連続的な部分を表す。 0.66
We believe that for better readability, the DA might be further broken down into smaller units. 可読性を改善するため、daはより小さなユニットに分解される可能性があると考えています。 0.56
Optionally, the meeting might have an audio or video recording. オプションで、会議にはオーディオやビデオが記録される。 0.75
The meeting recording is helpful during the meeting annotation (i.e., creating/editing the meeting transcript and summary). 会議記録は会議のアノテーション(つまり会議の書き起こしと要約の作成/編集)の間に役立ちます。 0.74
The tool offers an embedded player. このツールは組み込みプレーヤーを提供する。 0.77
Then, the annotator does not have to switch between the annotation tool and a media player. そして、アノテーションツールとメディアプレーヤをアノテータが切り替える必要がない。 0.52
Also, if the transcripts come with timestamps, the annotator can easily seek in the player by double-clicking the particular DA. また、書き起こしにタイムスタンプが付いてくると、アノテータは特定のDAをダブルクリックすることで簡単にプレイヤーを探し出すことができる。 0.56
Many annotation tools we reviewed in Section 2.1 provide automated suggestions. セクション2.1でレビューした多くのアノテーションツールは自動提案を提供する。 0.63
We decided not to include this feature as we believe it would bias the annotators. アノテーションをバイアスすると信じているので、この機能は含まないことにしました。 0.43
ALIGNMEET is designed with two modes: Annotation and Evaluation. ALIGNMEETはアノテーションと評価という2つのモードで設計されている。 0.59
We further elaborate them in Sections 3.2 and 3.3. さらに3.2と3.3で詳しく述べる。 0.66
3.2. Annotation The annotation task consists of several sub-tasks. 3.2. アノテーション アノテーションタスクはいくつかのサブタスクで構成される。 0.47
We envision the following sub-tasks: (1) transcript annotation, (2) summary annotation, and (3) alignment. 1) 書き起こしアノテーション, (2) 要約アノテーション, (3) アライメントといったサブタスクを想定する。 0.60
3.2.1. Transcript Annotation Transcripts may be either generated by an ASR or manually created. 3.2.1. Transcript Annotation Transcriptsは、ASRによって生成されるか、手動で作成される。 0.41
The tool supports both scenarios, i.e., このツールは両方のシナリオ、すなわち 0.62
3https://www.qt.io/q t-for-python 3https://www.qt.io/q t-for-python 0.14
英語(論文から抽出)日本語訳スコア
Figure 1: The ALIGNMEET main view in the annotation mode. 図1: アノテーションモードのALIGNMEETメインビュー。 0.61
The left column contains the meeting transcript broken down to dialogue acts. 左カラムには、対話行為に分解されたミーティングの書き起こしが含まれている。 0.46
The right column contains a summary, and the player. 右の列にはサマリーとプレイヤーが含まれている。 0.68
The alignment between dialogue acts and the summary point is shown using colors. 対話行動と要約点のアライメントは色を用いて示される。 0.66
Figure 2: The ALIGNMEET main view in evaluation mode. 図2: 評価モードにおけるALIGNMEETのメインビュー。 0.86
The left column contains the meeting transcript broken down into dialogue acts. 左のコラムには、対話行為に分解された会議の書き起こしが含まれている。 0.45
The right column contains a summary, problem flags, and document-level adequacy. 右列にはサマリ、問題フラグ、ドキュメントレベルの妥当性が含まれている。 0.62
Evaluation, i.e., the assignment of scores to a particular summary point, is enabled only for the summary points where the corresponding DAs are visible in the transcript view. 評価、すなわち特定の要約点へのスコアの割り当ては、対応するDAが転写ビューで見える要約点に対してのみ可能となる。 0.58
transcribing the recording, post-editing, splitting the transcript into dialogue acts, and speaker annotation. 録音の書き起こし、後編集、書き起こしの対話行為への分割、話者の注釈。 0.63
We introduce a set of keyboard shortcuts that make simple tasks like creating/deleting or even splitting DAs very quick. キーボードショートカットのセットを導入し、DAの作成や削除、さらには分割といった単純なタスクを非常に簡単にします。
訳抜け防止モード: キーボードショートカットのセットを紹介します daを作成、削除、あるいは分割するといった簡単なタスクを素早く行えます。
0.60
Additionally, we offer a search toolbar supporting regular expressions. また,正規表現をサポートする検索ツールバーも提供する。 0.76
3.2.2. Summarization Annotation Summarization annotation involves the creation or possible modification of an existing meeting summary. 3.2.2. 要約アノテーション 要約アノテーションは、既存のミーティングの概要の作成または変更を可能にする。 0.43
The tool provides a convenient platform to add more points to an existing summary by simply clicking the “add” or “delete” buttons. このツールは、“add”ボタンや“delete”ボタンをクリックするだけで、既存のサマリーにもっとポイントを追加できる便利なプラットフォームを提供する。 0.69
Except for summary points, we intentionally do not enforce any precise summary structure and provide users with the flexibility to design their summary. 要約ポイントを除いて、意図的に正確な要約構造を強制せず、ユーザが要約を設計する柔軟性を提供する。 0.67
Though, we support indentation as a form of horizontal structuring (with a user-defined indentation symbol). しかし、水平構造としてインデンテーションをサポートしています(ユーザ定義のインデンテーションシンボル)。 0.67
英語(論文から抽出)日本語訳スコア
3.2.3. Alignment The alignment captures which dialogue acts are associated with a particular summary point. 3.2.3. アライメント 対話行為が特定の要約ポイントに関連付けられるアライメントキャプチャ。 0.43
We call a set of DAs belonging to a summary point a hunk. 要約点に属する da のセットを hunk と呼んでいます。 0.48
DAs which do not correspond to a summary point may be assigned meta-information (i.e., marked as small talk or organizational). 要約ポイントに対応していないDAはメタ情報(小さな話や組織としてマークされる)を割り当てることができる。 0.70
ALIGNMEET supports only n-to-1 alignments because we believe that aligning multiple summary points to a DA would further increase the difficulty of the alignment task. なぜなら、複数のサマリポイントをdaにアライメントすることでアライメントタスクの難しさをさらに高めると信じているからです。
訳抜け防止モード: ALIGNMEET は n - to-1 のアライメントのみをサポートする。 複数の要約ポイントをDAにアライメントすることは、アライメントタスクの難しさをさらに高めるだろうと考えています。
0.58
It would also cause a “summary point fragmentation”, as the annotator might address the same information in separate summary points. また、アノテータが同じ情報を別々のサマリポイントで扱う可能性があるため、“要約点の断片化”も引き起こされる。 0.58
When a DA includes more information that fits in a single summary point, we suggest splitting the DA accordingly. DAに1つの要約ポイントに適合するより多くの情報が含まれている場合、DAを分割することを提案します。 0.57
The matching background color of a hunk and a summary point represents a single alignment (see Figure 1). hunkとサマリーポイントのマッチング背景色は、単一のアライメントを表す(図1参照)。 0.68
To make the interface more clean and readable for the annotator, we color only summary points whose hunks are currently visible in the transcript view. アノテータのためのインターフェースをよりクリーンで読みやすくするために、現在書き起こしビューでhunkが見えるサマリポイントのみを色付けする。 0.61
Aligning DA(s) to a particular summary point or metainformation item is very intuitive: da(s)を特定の要約ポイントまたはメタ情報項目に合わせることは、非常に直感的です。 0.56
1. Select DA(s) in the transcript view. 1. 転写ビューでDA(s)を選択する。 0.63
The selection can be contiguous and also discontiguous. 選択は連続的かつ不連続である。 0.50
Standard GUI gestures are supported (i.e., dragging over items, [Ctrl]/[Shift] + clicking/dragging). 標準GUIジェスチャがサポートされている(アイテムをドラッグする[Ctrl]/[Shift] + クリック/ドラッグ)。 0.74
2. Select a summary point by double-clicking an item in the summary view or choose a problem label in the meta-information list. 2)要約ビューで項目をダブルクリックするか、メタ情報リストで問題ラベルを選択することで要約ポイントを選択する。 0.77
Resetting the alignment is also possible by selecting DA(s) or a summary point and selecting an action in the context menu or keyboard shortcut. DA(s)や要約ポイントを選択し、コンテキストメニューやキーボードショートカットでアクションを選択することでアライメントをリセットすることもできる。 0.73
In this way, ALIGNMEET facilitates the annotation and mitigates potential errors. このように、ALIGNMEETはアノテーションを促進し、潜在的なエラーを軽減する。 0.58
The annotator has a clear overview of which parts of a meeting are already annotated and makes any revisions straightforward. このアノテータは、ミーティングのどの部分がすでにアノテートされており、どんなリビジョンも簡単にできます。 0.45
3.3. Evaluation Mode We reviewed several quality criteria for a summary evaluation in Sections 2.2 and 2.3 based on which we formulate a novel manual evaluation scheme. 3.3. 評価モードでは,新しい手作業による評価手法を定式化した2.2および2.3節の要約評価のための品質基準について検討した。 0.52
We integrated the evaluation into the tool (see Figure 2). 評価結果をツールに統合しました(図2参照)。 0.72
For the evaluation, we utilize adequacy, grammaticallity and fluency. 評価には, 妥当性, 文法性, 頻度を利用する。 0.58
We think that evaluating these criteria at the document level is challenging and error-prone. これらの基準をドキュメントレベルで評価することは困難でエラーやすいと考えています。 0.59
Therefore, we propose the evaluation on two levels: (1) manually assigning the hunk level (based on alignment) and (2) automatically aggregating it on the document level. そこで本研究では,(1)hunkレベル(アライメントに基づく)を手動で割り当てる,(2)文書レベルで自動集約する,という2つのレベルでの評価を提案する。 0.77
At the hunk level, the evaluation is based only on the aligned part of the transcript and a corresponding summary point. hunkレベルでは、評価は書き起こしの整列部分と対応する要約点のみに基づいて行われる。 0.59
At the hunk-level, annotators evaluate adequacy, grammaticality and fluency using a 5-star scale (Likert, 1932) with 1 being the worst and 5 the best. ハンクレベルでは、アノテーターは5つ星スケール (Likert, 1932) を用いて、アデキシー、文法、流線型を評価し、1つが最悪、5つがベストである。 0.52
At the document level, we automatically aggregate the hunklevel judgments with a simple average. ドキュメントレベルでは、hunkレベル判断を単純な平均で自動的に集約します。 0.70
Aside from averaging hunk-level adequacy across the document, we ドキュメント全体で平均的なハンクレベルの妥当性は別として、 0.45
also independently ask annotators to report the overall accuracy of the minutes. 単独でアノテータに 全体の正確さを 報告するよう頼みます 0.57
We call this score ‘Doc-level adequacy’ in the following. このスコアを“doc-level adequacy”と呼んでいる。 0.64
Finally, we compute coverage, i.e., the number of aligned DAs divided by the total number of DAs. 最後に、各DAの総数で割ったアライメントDAの数を計算します。 0.53
4. Use Case and Pilot Study 4.利用事例とパイロット研究 0.75
In this section, we present a use case and conduct a small-scale pilot study. 本節では,利用事例を提示し,小規模のパイロット実験を行う。 0.74
4.1. Use Cases We organized the First Shared Task on Automatic Minuting (Ghosal et al , 2021) on creating minutes from multi-party meetings. 4.1. ユースケース マルチパーティミーティングの議事録を作成するための、最初の共有タスク(ghosal et al, 2021)を組織しました。 0.53
As a part of the shared task, we made available a minuting corpus, which is now being released publicly (Nedoluzhko et al , 2022). 共有タスクの一部として、minutingコーパスを利用可能にしましたが、現在公開されています(nedoluzhko et al , 2022)。 0.62
ALIGNMEET was created during the annotation process. ALIGNMEETはアノテーションプロセス中に作成された。 0.75
We have started with a modified NITE (Kilgour and Carletta, 2006) tool, but the annotators faced many issues, including the need to make changes to the transcript and minutes. 私たちは、修正されたnite(kilgour and carletta, 2006)ツールから始めましたが、注釈は、書き起こしと数分の変更を含む多くの問題に直面しました。 0.66
Hence, we decided to create a new tool to meet the annotators’ requirements. そのため、アノテータの要求を満たす新しいツールを開発することにしました。 0.66
We used agile development, i.e., we constantly improved ALIGNMEET following the annotators’ comments. 私たちはアジャイル開発、すなわちアノテータのコメントに従って常にALIGNMEETを改善しました。 0.60
Before annotation, each meeting consisted of a recording, ASR-generated transcript, and meeting minutes assembled by the meeting participants (often incomplete). アノテーションの前には、各ミーティングは記録、ASR生成の書き起こし、ミーティング参加者が組み立てたミーティング分(しばしば不完全)で構成されていた。 0.55
First, we asked the annotators to revise the ASR transcript. まず、アノテータにASR転写の改訂を依頼した。 0.56
Later, we asked the annotators to provide minutes and alignment. その後、アノテータに時間と調整を依頼しました。 0.46
We have observed different styles of minuting among the annotators. 我々はアノテータ間で異なる形態のミナリングを観察してきた。 0.41
Therefore, many of the meetings have two or more versions of minutes provided by different annotators. したがって、会議の多くは、異なる注釈者によって提供される2つ以上のバージョンの分を持っている。 0.52
4.2. Pilot Study To assess ALIGNMEET, we conduct a simple experiment similar to Collins et al (2019) for both modes of tool: (1) annotation and (2) evaluation. 4.2. アライメントミートを評価するためのパイロット研究では、(1)アノテーションと(2)評価という2つのツールのモードについてcollinsら(2019)と同様の簡単な実験を行う。 0.54
We evaluate all the results across two different meeting corpora, AMI (McCowan et al , 2005) for English and AutoMin for Czech. 我々は、英語のAMI(McCowan et al , 2005)とチェコ語のAutoMinの2つの異なるミーティングコーパスで、すべての結果を評価した。 0.67
We considered one meeting per language from each corpus (the selected English meeting has 205 DAs and the selected Czech meeting has 153 DAs; both are approximately 16 minutes long). 各コーパスから言語ごとに1つのミーティングを検討した(選択された英語会議は205 da、選択されたチェコ会議は153 da、どちらも約16分)。 0.72
The task was to create an abstractive summary, align the transcript with the corresponding parts of the reference summary, and finally evaluate the reference summary relying on the constructed alignment. タスクは抽象的な要約を作成し、その書き起こしを参照要約の対応する部分と整合させ、最終的に構築されたアライメントに依存する参照要約を評価することだった。 0.66
Each of the three annotators had a different experience level and report their timings in Table 3. 3人の注釈者はそれぞれ異なる経験レベルを示し、そのタイミングを表3で報告した。 0.69
The summarization stage took on average 40.7 minutes and 33.0 minutes for English and Czech, respectively. 要約は英語とチェコ語で平均40.7分、33.0分であった。 0.63
The alignment took on average 16.0 and 19.7 minutes and evaluation on average of 11.7 and 17.7 minutes for English and Czech data, respectively. 調整には平均16.0分と19.7分を要し、英語とチェコ語のデータは平均11.7分と17.7分だった。 0.62
In other words, this particular meeting needed about 2–3 times its original time to summarize, its duration to align, and finally somewhat less than its duration to evaluate. 言い換えれば、この特定のミーティングは、元の時間の2-3倍の時間、調整する期間、そして最終的に評価する期間よりも少し少なかった。
訳抜け防止モード: 言い換えると、この特定の会議は要約するのに元の2-3倍の時間を必要とした。 調整する期間、最終的に評価する期間より少し短い。
0.62
Based on this minimal study, a factor of 4 or この最小限の研究によると 4つかそれ以上か 0.72
英語(論文から抽出)日本語訳スコア
Annotator Experienced Summarization Alignment Evaluation Total time アノテータによる要約アライメント評価総時間の検討 0.58
English E1 E2 E3   40 37 20 5 10 10 52 70 英語 e1 e2 e3 は 40 37 20 5 10 10 52 70 である。 0.69
 45 23 15 83  45 23 15 83 0.42
Czech C1 C2 C3   31 23 11 18 13 25 66 55 チェコ c1 c2 c3 は31 23 11 18 13 25 66 55 0.74
 45 30 15 90  45 30 15 90 0.42
Table 3: Pilot study: annotator experience and time in minutes each annotator spent on each task. 表3: パイロット研究: アノテータの経験と各アノテータが各タスクに費やした分単位の時間。 0.76
more has to be expected when processing meetings by annotators who have not taken part in them. 参加していないアノテータによる 会議の処理には もっと期待しなければなりません 0.65
The evaluation results are in Table 4. 評価結果は表4にある。 0.71
Adequacy is deemed average (3.98±0.62 on average), with the document-level manual judgment being similar (3.83±0.37), while grammaticality and fluency are somewhat higher (4.32±0.39 and 4.63±0.31, resp.). 適性は平均(3.98±0.62)であり、文書レベルの手動判断は類似している(3.83±0.37)が、文法性や流束性は若干高い(4.32±0.39 と 4.63±0.31)。 0.63
Additionally, we report the inter-annotator agreement (IAA). また,アノテータ間協定(IAA)を報告した。 0.67
Our definition of IAA is rather strict, we count the number of DAs that were aligned to the same summary point by all annotators divided by the total number of DAs. IAAの定義はかなり厳格であり、すべてのアノテータがDAの総数で割った同じ要約点に整列したDAの数を数える。 0.61
If we consider the recorded pace of our annotators, the AMI meeting corpus consisting of 137 meetings and 45,895 DAs in total (see Table 1), it would take 9,105 minutes to summarize, 3,582 minutes to align, and 2,613 minutes to evaluate using our tool, or 255 hours in total. 137の会議と45,895のDAからなるAMIミーティングコーパス(表1参照)では,要約に要する時間は9,105分,整列に要する時間は3,582分,計2,613分,計255時間であった。 0.63
We infer from Table 3 that the time spent on the task does not necessarily depend on the annotator’s experience but rather on the personal preferences and thoroughness of the annotator. 表3から、タスクに費やす時間は、アノテータの経験に必ずしも依存せず、アノテータの個人的な好みと徹底性にかかっていると推測する。 0.60
Despite the limited size of the experiment, we believe that the results suggest the tool is intuitive and facilitates fast annotation. 実験のサイズは限られているが,結果はツールが直感的であり,高速なアノテーションを促進することを示唆している。 0.67
5. Conclusion We presented ALIGNMEET, an open-source and intuitive comprehensive tool for meeting annotation. 5.結論 提案するALIGNMEETは,オープンソースかつ直感的なアノテーション統合ツールである。 0.67
Its main goal is to facilitate alignment between parts of a transcript with the corresponding part of the summary. その主な目的は、要約の対応する部分との書き起こし部分のアライメントを容易にすることである。 0.74
We also integrate the proposed evaluation strategy of meeting summaries in the tool. また,ツールに要約を提示する評価戦略を取り入れた。 0.46
In the future, we will add the support for automatic transcript generation with timestamps, user-defined problems in the list of explicit problem labels, and a quick onboarding tutorial integrated into the user interface. 将来的には、タイムスタンプによる自動転写生成のサポート、明示的な問題ラベルリスト内のユーザ定義問題、ユーザインターフェースに統合されたクイックオンボーディングチュートリアルを追加します。 0.76
Finally, we hope ALIGNMEET will generally improve as annotators will provide their feedback. 最後に、ALIGNMEETが一般的に改善されることを願っています。 0.58
Acknowledgements has support 承認にはサポートがあります 0.47
received “Grant Schemes 受け取りました 『助成計画』 0.50
from the This work no. この作品から、no。 0.46
project at CU” CZ.02.2.69/0.0/0.0/1 9 073/0016935), European Union’s Horizon 2020 Research and Innovation Programme under Grant Agreement No 825460 (ELITR), and 19-26934X (NEUREM3) of the Czech Science Foundation, and partially supported by SVV project number 260 575. project at cu” cz.02.2.69/0.0/0.0/1 9 073/0016935、euのhorizon 2020研究・イノベーションプログラム(elitr)、チェコ科学財団の19-26934x(neurem3)、svvプロジェクト番号260 575によって部分的にサポートされている。
訳抜け防止モード: CZ.02.2.69/0.0/0.0/1 9 073/0016935 , EU's Horizon 2020 Research グラント協定第825460号(ELITR)によるイノベーションプログラム そしてチェコ科学財団の19-26934X(NEUREM3) SVV プロジェクト番号 260 575 で部分的にサポートされている。
0.73
(reg. the English (例) その... 英語 0.39
Czech Annotator Experienced #Summary points #Alignments IAA Avg. チェコ annotatorは#summary points #alignments iaa avgを経験した。 0.56
adequacy Avg. grammaticality Avg. 適切なavg。 文法Avg。 0.40
fluency Doc. 流派ドキュメンテーション。 0.43
-level adequacy Coverage E1  15 378 -レベル適合範囲 E1~15378 0.57
3.71 3.86 4.71 3.00 1.00 3.71 3.86 4.71 3.00 1.00 0.22
E2  11 378 0.21* 3.71 4.21 4.07 4.00 0.94 E2  11 378 0.21* 3.71 4.21 4.07 4.00 0.94 0.28
E3  19 203 3.17 4.08 4.92 4.00 0.54 E3~19203 3.17 4.08 4.92 4.00 0.54 0.45
C1  23 282 3.67 5.00 5.00 4.00 0.64 C1~23282 3.67 5.00 5.00 4.00 0.64 0.49
C2  14 282 0.63 4.93 4.13 4.53 4.00 0.54 C2  14 282 0.63 4.93 4.13 4.53 4.00 0.54 0.27
C3  21 282 4.67 4.67 4.53 4.00 0.30 C3~21282 4.67 4.67 4.53 4.00 0.30 0.29
Table 4: Pilot study: annotator experience, number of produced summary points and alignments, and evaluation score. 表4:パイロットスタディ:アノテータの経験、生成されたサマリポイントとアライメントの数、評価スコア。 0.77
∗ If we remove the second annotator, we obtain agreement 0.59. ∗ 第二のアノテータを取り除いたら、契約 0.59 を得る。 0.68
6. Bibliographical References Antognini, D. and Faltings, B. 書誌学的参考書 Antognini, D. and Faltings, B。 0.48
(2020). GameWikiSum: a novel large multi-document summarization dataset. (2020). GameWikiSum: 大規模なマルチドキュメント要約データセット。 0.60
In Proceedings of the 12th Language Resources and Evaluation Conference, pages 6645– 6650, Marseille, France, May. 第12回言語資源評価会議の議事録、6645-6650ページ、マルセイユ、フランス、5月。 0.65
European Language Resources Association. 欧州言語資源協会会員。 0.86
Arumae, K. and Liu, F. Arumae, K. and Liu, F. 0.47
(2019). Guiding extractive summarization with question-answering rewards. (2019). 質問応答報酬による抽出要約の指導。 0.53
arXiv preprint arXiv:1904.02321. arXiv preprint arXiv:1904.02321 0.36
Austin, J. L. (1975). オースティン、J.L.(1975年)。 0.67
How to do things with words, 言葉で物事をする方法。 0.60
volume 88. Oxford university press. 88巻。 オックスフォード大学の記者。 0.56
Bhatia, S., Biyani, P., and Mitra, P. (2014). Bhatia, S., Biyani, P., Mitra, P. (2014)。 0.78
Summarizing online forum discussions–can dialog acts of In Proceedings of the individual messages help? オンラインフォーラムの議論の要約 - 個々のメッセージの手続きにおけるダイアログが役に立つか? 0.65
2014 conference on empirical methods in natural language processing (EMNLP), pages 2127–2131. 2014年、自然言語処理における経験的手法に関する会議(EMNLP)2127-2131頁。 0.68
Brugman, H., Russel, A., and Nijmegen, X. (2004). Brugman, H., Russel, A. and Nijmegen, X. (2004)。 0.41
Annotating multi-media/multi-mo dal resources with elan. elanでマルチメディア/マルチモーダルリソースをアノテートする。 0.54
In LREC, pages 2065–2068. LREC、2065-2068頁。 0.29
Budzianowski, P., Wen, T. Budzianowski, P., Wen, T。 0.79
-H. , Tseng, B. -h。 、Tseng, B。 0.56
-H. , Casanueva, I., Ultes, S., Ramadan, O., and Gaˇsi´c, M. (2018). -h。 , Casanueva, I., Ultes, S., Ramadan, O., Ga'si ́c, M. (2018)。 0.60
MultiWOZ - a large-scale multi-domain task-oriented dialogue Wizard-of-Oz dataset the 2018 Confermodelling. multiwoz - 大規模マルチドメインタスク指向の対話ウィザード・オブ・ozデータセット 2018 confermodelling。 0.64
ence on Empirical Methods in Natural Language Processing, pages 5016–5026, Brussels, Belgium, October-November. 英語) Empirical Methods in Natural Language Processing, page 5016–5026, Brussels, Belgium, October–11 (英語) 0.76
Association for Computational Linguistics. In Proceedings of 計算言語学会会員。 訴訟の手続において 0.46
for C¸ ano, E. and Bojar, O. (2020). ですから ano, E. and Bojar, O. (2020)。 0.66
Human or machine: Automating human likeliness evaluation of nlg texts. human or machine: nlgテキストの評価を人間に似せて自動化する。 0.74
arXiv preprint arXiv:2006.03189. arXiv preprint arXiv:2006.03189。 0.31
Collins, E., Rozanov, N., and Zhang, B. (2019). Collins, E., Rozanov, N. and Zhang, B. (2019)。 0.41
Lida: Lightweight interactive dialogue annotator. Lida: 軽量な対話型アノテータ。 0.63
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations, pages 121–126. 第9回自然言語処理国際共同会議(emnlp-ijcnlp: system demonstrations, pages 121–126)は、2019年の自然言語処理における経験的手法に関する会議である。 0.79
Cucurnia, D., Rozanov, N., Sucameli, I., Ciuffoletti, A., and Simi, M. (2021). Cucurnia, D., Rozanov, N., Sucameli, I., Ciuffoletti, A., and Simi, M. (2021)。 0.86
Matilda-multi-annota tor multi-language interactivelight-wei ght dialogue an- マルチアノテータを用いた多言語対話型軽量対話システム- 0.39
英語(論文から抽出)日本語訳スコア
notator. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations, pages 32–39. ノーテーター the european chapter of the association for computational linguistics: system demonstrations, pp32-39) 第16回ヨーロッパ計算言語学会大会の議事録。 0.55
D’Haro, L. F., Banchs, R. E., Hori, C., and Li, H. (2019). D’Haro, L. F., Banchs, R. E., Hori, C., Li, H. (2019)。 0.89
Automatic evaluation of end-to-end dialog systems with adequacy-fluency metrics. 等価周波数メトリクスを用いたエンドツーエンド対話システムの自動評価 0.55
Computer Speech & Language, 55:200–215. コンピュータ・スピーチ&ランゲージ、55:200-215。 0.58
Erol, B., shyang Lee, D., and Hull, J. (2003). Erol, B., shyang Lee, D. and Hull, J. (2003)。 0.42
Multimodal summarization of meeting recordings. 会議記録のマルチモーダル要約 0.58
In In Proceedings of the IEEE International Conference on Multimedia & Expo, Baltimore, MD, July. ボルチモアで開催されたieee international conference on multimedia & expo(ieee international conference on multimedia & expo, baltimore, md, july)で開催。
訳抜け防止モード: IEEE International Conference on Multimedia & Expo に参加して ボルチモア、MD、7月。
0.64
Fang, C., Mu, D., Deng, Z., and Wu, Z. Fang, C., Mu, D., Deng, Z., Wu, Z 0.35
(2017). Word-sentence co-ranking for automatic extractive text summarization. (2017). 自動抽出テキスト要約のための単語文協調処理 0.54
Expert Systems with Applications, 72:189–195. 専門家システム、72:189–195。 0.66
(2020). Summarization corpora of wikipedia articles. (2020). ウィキペディアの記事の要約コーパス。 0.52
In Proceedings of the 12th Language Resources and Evaluation Conference, pages 6651–6655. 第12回言語資源・評価会議では6651-6655頁。 0.68
Frefel, D. Frefel, D。 0.41
Ghosal, T., Singh, M., Nedoluzhko, A., and Bojar, O. (2021). Ghosal, T., Singh, M., Nedoluzhko, A., and Bojar, O. (2021)。 0.83
Overview of the first shared task on automatic minuting (automin) at interspeech 2021. interspeech 2021におけるautomin(automin)に関する最初の共有タスクの概要 0.73
In In print. Gillick, D., Riedhammer, K., Favre, B., and HakkaniTur, D. (2009). 印刷されている。 Gillick, D., Riedhammer, K., Favre, B., HakkaniTur, D. (2009)。 0.70
A global optimization framework for meeting summarization. 要約会議のためのグローバル最適化フレームワーク。 0.78
In 2009 IEEE International Conference on Acoustics, Speech and Signal Processing, pages 4769–4772. 2009年、IEEE International Conference on Acoustics, Speech and Signal Processing, page 4769–4772。 0.46
IEEE. Gliwa, B., Mochol, I., Biesek, M., and Wawer, A. (2019). IEEE。 Gliwa, B., Mochol, I., Biesek, M., and Wawer, A. (2019)。 0.41
SAMSum corpus: A human-annotated dialogue dataset for abstractive summarization. SAMSum corpus: 抽象的な要約のための人間の注釈付き対話データセット。 0.63
In Proceedings of the 2nd Workshop on New Frontiers in Summarization, pages 70–79, Hong Kong, China, November. 第2回新フロンティア研究会要約会第70-79頁、香港、中国、11月。
訳抜け防止モード: 要約における新たなフロンティアに関する第2回ワークショップの開催報告 70-79頁、香港、中国、11月。
0.60
Association for Computational Linguistics. Goo, C. and Chen, Y. (2018). 計算言語学会会員。 Goo, C. and Chen, Y. (2018)。 0.48
Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts. 対話行動に最適化された文ゲートモデルによる抽象対話要約 0.63
In 2018 IEEE Spoken Language Technology Workshop (SLT), pages 735–742, Athens, Greece, Dec. 2018年、IEEE Spoken Language Technology Workshop (SLT)、ページ735–742、アテネ、ギリシャ、12月。 0.75
IEEE Xplore. ieee xplore所属。 0.54
Gruenstein, A., Niekrasz, J., and Purver, M. (2005). Gruenstein, A., Niekrasz, J., and Purver, M. (2005)。 0.88
Meeting structure annotation: Data and tools. 構造アノテーションのミーティング: データとツール。 0.82
In 6th SIGdial Workshop on Discourse and Dialogue. 第6回SIGdial Workshop on Discourse and Dialogue に参加して 0.72
Grusky, M., Naaman, M., and Artzi, Y. (2018). Grusky, M., Naaman, M. and Artzi, Y. (2018)。 0.83
Newsroom: A dataset of 1.3 million summaries with diIn Proceedings of the verse extractive strategies. Newsroom:DiIn Proceedings of the verse extractive Strategyによる13万サマリーのデータセット。 0.68
2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 708–719, New Orleans, Louisiana, June. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), page 708–719, New Orleans, Louisiana, June (英語)
訳抜け防止モード: 2018 conference of the north american chapter of the association for computational linguistics: human language technologies (英語) 第1巻(長編)、708-719頁、ニューオーリンズ。 6月、ルイジアナ。
0.75
Association for Computational Linguistics. Heeman, P. A., Yang, F., and Strayer, S. E. (2002). 計算言語学会会員。 Heeman, P. A., Yang, F. and Strayer, S. E. (2002)。 0.74
Dialogueview-an annotation tool for dialogue. Dialogueview - 対話のためのアノテーションツール。 0.70
In Proceedings of the Third SIGdial Workshop on Discourse and Dialogue, pages 50–59. The Proceedings of the Third SIGdial Workshop on Discourse and Dialogue, page 50-59。 0.43
Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P。 0.85
(2015). Teaching machines to read and comprehend. (2015). 機械に読み書きを教える。 0.48
Advances in neural information processing systems, 28. 神経情報処理システムの進歩,28。 0.73
Janin, A., Baron, D., Edwards, J., Ellis, D., Gelbart, D., Morgan, N., Peskin, B., Pfau, T., Shriberg, E., Stolcke, A., et al (2003). Janin, A., Baron, D., Edwards, J., Ellis, D., Gelbart, D., Morgan, N., Peskin, B., Pfau, T., Shriberg, E., Stolcke, A., et al (2003)。 0.84
The icsi meeting corpus. icsiミーティングコーパス。 0.38
In 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2003. 2003年ieee国際音響・音声・信号処理会議 0.48
Proceedings. (ICASSP’03). 手続きだ (ICASSP'03)。 0.43
, volume 1, pages I–I. IEEE. 第1巻、I-I頁。 IEEE。 0.48
Kilgour, J. and Carletta, J. Kilgour, J. and Carletta, J. 0.47
(2006). The nite xml toolkit: Demonstration from five corpora. (2006). nite xmlツールキット: 5つのコーパスからのデモ。 0.58
In Proceedings of the 5th Workshop on NLP and XML (NLPXML-2006): Multi-Dimensional Markup in Natural Language Processing. 第5回NLPおよびXMLワークショップ(NLPXML-2006):自然言語処理における多次元マークアップ 0.83
Kipp, M. (2001). kipp, m. (2001)。 0.76
Anvil-a generic annotation tool for multimodal dialogue. anvil-マルチモーダル対話のための汎用アノテーションツール 0.71
In Seventh European Conference on Speech Communication and Technology. 第7回ヨーロッパ音声通信技術会議に参加して 0.80
Klie, J. -C. Klie, J。 -C。 0.41
, Bugert, M., Boullosa, B., de Castilho, R. E., and Gurevych, I. (2018). 、Bugert, M., Boullosa, B., de Castilho, R. E., and Gurevych, I. (2018)。 0.42
The inception platform: Machine-assisted and knowledge-oriented interactive annotation. 開始プラットフォーム: 機械支援および知識指向のインタラクティブアノテーション。 0.80
In Proceedings of the 27th International Conference on Computational Linguistics: System Demonstrations, pages 5–9. The 27th International Conference on Computational Linguistics: System Demonstrations, Page 5–9. (英語) 0.43
Kry´sci´nski, W., Keskar, N. S., McCann, B., Xiong, C., and Socher, R. (2019). Kry ́sci ́nski, W., Keskar, N. S., McCann, B., Xiong, C., Socher, R. (2019)。 0.95
Neural text summarization: A critical evaluation. neural text summarization: 批判的な評価。 0.73
In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 540–551. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), page 540–551。
訳抜け防止モード: 自然言語処理における経験的手法に関する2019年会議のまとめ 第9回国際自然言語処理国際会議(EMNLP - IJCNLP)に参加して 540-551頁。
0.77
Lai, C., Carletta, J., and Renals, S. (2013). Lai, C., Carletta, J., and Renals, S. (2013)。 0.87
Detecting summarization hot spots in meetings using group level involvement and turn-taking features. グループレベルの関与とターンテイク機能によるミーティングの要約ホットスポットの検出。 0.66
In INTERSPEECH 2013 14th Annual Conference of the International Speech Communication Association, pages 2723–2727, Lyon, France. 第14回国際音声通信協会年次大会(InterSPEECH 2013)では2723-2727頁、フランスのリヨンで開催。 0.67
ICSA. Lee, D., Shin, M., Whang, T., Cho, S., Ko, B., Lee, D., Kim, E., and Jo, J. (2020). ICSA Lee, D., Shin, M., Whang, T., Cho, S., Ko, B., Lee, D., Kim, E., Jo, J. (2020)。 0.53
Reference and document aware semantic evaluation methods for korean language summarization. 韓国語要約のための参照と文書認識による意味評価手法 0.81
arXiv preprint arXiv:2005.03510. arXiv preprint arXiv:2005.03510。 0.63
Li, M., Zhang, L., Ji, H., and Radke, R. J. (2019). Li, M., Zhang, L., Ji, H. and Radke, R. J. (2019)。 0.86
Keep meeting summaries on topic: Abstractive In Proceedmulti-modal meeting summarization. トピックに関する要約をまとめる: マルチモーダルミーティングの要約を要約する。 0.67
ings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2190–2196. 第57回計算言語学会年次大会、2190-2196頁。 0.45
Libovick´y, J., Palaskar, S., Gella, S., and Metze, F. (2018). Libovick ́y, J., Palaskar, S., Gella, S., and Metze, F. (2018)。 0.97
Multimodal abstractive summarization of open-domain videos. オープンドメインビデオのマルチモーダル抽象要約 0.66
In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL). In Proceedings of the Workshop on Visually Grounded Interaction and Language (ViGIL) に参加して 0.44
NIPS. Likert, R. (1932). ニップス R. (1932年)。 0.37
A technique for the measurement of attitudes. 測定のための技術 態度だ 0.46
Archives of Psychology, 22:55. 専門は心理学、22:55。 0.52
Lin, C. -Y. (2004). リン、C。 -y。 (2004). 0.48
Rouge: A package for automatic In Text summarization Rouge: 自動インテキスト要約のためのパッケージ 0.86
evaluation of summaries. branches out, pages 74–81. 要約の評価。 74-81頁。 0.49
Liu, F. and Liu, Y. (2009). Liu, F. and Liu, Y. (2009)。 0.44
From extractive to abstractive meeting summaries: Can it be done by sentence 抜粋から抽象的な要約まで:文で行うことができる 0.70
英語(論文から抽出)日本語訳スコア
compression? In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, pages 261–264. 圧縮? acl-ijcnlp 2009コンファレンス小論文261-264頁。 0.64
Liu, C., Wang, P., Xu, J., Li, Z., and Ye, J. (2019). Liu, C., Wang, P., Xu, J., Li, Z., Ye, J. (2019)。 0.78
Automatic dialogue summary generation for customer service. 顧客サービスのための対話要約自動生成 0.80
In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pages 1957–1965. The 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining”. 1957–1965年。 0.79
Liu, X., Xue, W., Su, Q., Nie, W., and Peng, W. (2020). Liu, X., Xue, W., Su, Q., Nie, W., and Peng, W. (2020)。 0.85
metacat: A metadata-based task-oriented chatbot anIn Proceedings of the 1st Confernotation tool. metacat: メタデータベースのタスク指向チャットボット anIn Proceedings of the 1st Confernotation ツール。 0.77
ence of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing: System Demonstrations, pages 20–25. 計算言語学会アジア太平洋支部と第10回自然言語処理国際共同会議:システムデモ、20-25頁。 0.66
Ma, S. and Sun, X. Ma, S, and Sun, X。 0.44
(2017). A semantic relevance based neural network for text summarization and text simplification. (2017). テキスト要約とテキスト単純化のための意味関連性に基づくニューラルネットワーク 0.61
arXiv preprint arXiv:1710.02318. arXiv preprint arXiv:1710.02318 0.36
McBurney, P. W. and McMillan, C. (2014). McBurney, P. W. and McMillan, C. (2014)。 0.47
Automatic documentation generation via source code summarization of method context. メソッドコンテキストのソースコード要約による自動文書生成。 0.76
In Proceedings of the 22nd International Conference on Program Comprehension, pages 279–290. 第22回国際プログラム理解会議の議事録279-290頁。 0.71
McCowan, I., Carletta, J., Kraaij, W., Ashby, S., Bourban, S., Flynn, M., Guillemot, M., Hain, T., Kadlec, J., Karaiskos, V., et al (2005). McCowan, I., Carletta, J., Kraaij, W., Ashby, S., Bourban, S., Flynn, M., Guillemot, M., Hain, T., Kadlec, J., Karaiskos, V., et al (2005)。 0.42
The ami meeting corpus. amiミーティングコーパス。 0.40
In Proceedings of the 5th International Conference on Methods and Techniques in Behavioral Research, volume 88, page 100. 第5回行動研究の方法論と技術に関する国際会議(第88巻100ページ)の開催報告
訳抜け防止モード: 第5回行動研究の手法と技術に関する国際会議の開催にあたって 88ページ、100ページ。
0.83
Citeseer. Mehdad, Y., Carenini, G., Tompa, F., and Ng, R. (2013). シーザー。 Mehdad, Y., Carenini, G., Tompa, F., and Ng, R. (2013)。 0.64
Abstractive meeting summarization with entailment and fusion. 包含と融合を伴う抽象的な会議要約。 0.61
In Proceedings of the 14th European Workshop on Natural Language Generation, pages 136–146. 第14回ヨーロッパ自然言語生成ワークショップの議事録136-146頁。 0.69
Murray, G., Carenini, G., and Ng, R. (2010). Murray, G., Carenini, G. and Ng, R. (2010)。 0.88
Generating and validating abstracts of meeting conversations: a user study. 会話の抽象概念の生成と検証:ユーザスタディ。 0.63
In Proceedings of the 6th International Natural Language Generation Conference. 第6回国際自然言語生成会議に参加して 0.76
Nakayama, H., Kubo, T., Kamura, J., Taniguchi, (2018). 中山, H., Kubo, T., Kamura, J., Taniguchi (2018)。 0.71
doccano: Text anY. Doccano: テキスト anY。 0.75
, and Liang, X. notation tool for human. と liang, x. notation tool for human。 0.76
Software available from https://github.com/d occano/doccano. ソフトウェアはhttps://github.com/d occano/doccanoから入手できる。 0.44
Nedoluzhko, A., Singh, M., Hled´ıkov´a, M., Ghosal, (2022). Nedoluzhko, A., Singh, M., Hled ́ıkov ́a, M., Ghosal (2022)。 0.95
ELITR Minuting CorT. ELITR (EliTR Minuting CorT) の略。 0.42
, and Bojar, O. pus: A novel dataset for automatic minuting from multi-party meetings in English and Czech. そしてBojar, O. pus: 英語とチェコ語での複数政党のミーティングから自動マイニングするための新しいデータセット。 0.68
In Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC-2022), Marseille, France, June. 第13回言語資源評価国際会議(lrec-2022)において,マルセイユは6月に開催された。 0.71
European Language Resources Association (ELRA). 欧州言語資源協会 (ELRA) の略。 0.77
In print. Nihei, F., Nakano, Y. I., and Takase, Y. 印刷されている。 日平,F.,中野,Y.I.,高瀬,Y. 0.58
(2018). Fusing verbal and nonverbal information for exIn Proceedings tractive meeting summarization. (2018). exin proceedings tractive meeting 要約のための言語的および非言語的情報の使用 0.48
of the Group Interaction Frontiers in Technology, GIFT’18, New York, NY, USA. GIFT’18, New York, NY, USA, Group Interaction Frontiers in Technologyの略。 0.78
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
Novikova, J., Duˇsek, O., Cercas Curry, A., and Rieser, V. (2017). Novikova, J., Du'sek, O., Cercas Curry, A., and Rieser, V. (2017)。 0.93
Why we need new evaluation metrics for NLG. NLGの新しい評価基準が必要な理由。 0.68
In Proceedings of the 2017 Conference on 2017年講演会に参加して 0.69
Empirical Methods in Natural Language Processing, pages 2241–2252, Copenhagen, Denmark, September. 自然言語処理における経験的手法、2241-2252ページ、コペンハーゲン、デンマーク、9月。 0.65
Association for Computational Linguistics. Oya, T., Mehdad, Y., Carenini, G., and Ng, R. (2014). 計算言語学会会員。 Oya, T., Mehdad, Y., Carenini, G., and Ng, R. (2014)。 0.69
A template-based abstractive meeting summarization: Leveraging summary and source text relationships. テンプレートベースの抽象ミーティング要約:サマリとソーステキストの関係を活用する。 0.62
In Proceedings of the 8th International Natural Language Generation Conference (INLG), pages 45–53. 第8回国際自然言語生成会議(inlg)第45-53頁。 0.66
Oya, T. (2014). Oya, T. (2014)。 0.46
Automatic abstractive summarization of meeting conversations. 会議会話の自動抽象的要約 0.69
Master’s thesis, University of British Columbia, Vancouver, Canada. カナダのバンクーバーにあるブリティッシュコロンビア大学(university of british columbia)の修士論文。 0.66
Papineni, K., Roukos, S., Ward, T., and Zhu, W. Papineni, K., Roukos, S., Ward, T., Zhu, W。 0.75
-J. (2002). -j。 (2002). 0.57
Bleu: a method for automatic evaluation of machine translation. bleu: 機械翻訳の自動評価方法。 0.62
In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pages 311–318. 第40回計算言語学会年次大会(Proceedings of the 40th Year Meeting of the Association for Computational Linguistics)において、311-318頁。 0.55
Pl¨uss, Brian. とBrianは言う。 0.68
(2012). Annotation study mahttp://mcs.open.ac .uk/ (2012). 注釈研究mahttp://mcs.open.ac .uk/ 0.31
terials. nlg/non-cooperation/ resources/ study-materials.pdf. テラルだ nlg/非協力/資源/研究材料 0.26
Rameshkumar, R. and Bailey, P. (2020). Rameshkumar, R. and Bailey, P. (2020)。 0.48
Storytelling with dialogue: A critical role dungeons and dragons dataset. 対話によるストーリーテリング: ダンジョンとドラゴンのデータセットの重要な役割。 0.73
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5121–5134. 第58回計算言語学会年次大会紀要5121-5134頁。
訳抜け防止モード: 第58回計算言語学会年次大会を終えて 5121-5134頁。
0.53
Reiter, E. (2018). reter, e. (2018)を参照。 0.50
A structured review of the validity of BLEU. BLEUの妥当性に関する構造化されたレビュー。 0.66
Computational Linguistics, 44(3):393–401, September. 計算言語学、44(3):393–401、9月。 0.63
Riedhammer, K., Favre, B., and Hakkani-Tur, D. (2008). Riedhammer, K., Favre, B. and Hakkani-Tur, D. (2008)。 0.48
A keyphrase based approach to interactive meeting summarization. 対話型会議要約へのキーフレーズに基づくアプローチ 0.77
In 2008 IEEE Spoken Language Technology Workshop, pages 153–156. 2008年IEEE Spoken Language Technology Workshop 153-156頁。 0.75
IEEE. (2009). IEEE。 (2009). 0.42
Exmaralda– creating, analysing and sharing spoken language Pragmatics, corpora 19(4):565–582. Exmaralda - 音声言語 Pragmatics, corpora 19(4):565–582 の作成、分析、共有。 0.77
Schmidt, T. and W¨orner, K. シュミット、t、w・ソルナー、k。 0.47
for pragmatic research. See, A., Liu, P. J., and Manning, C. D. (2017). 実用的で 研究だ A., Liu, P. J., and Manning, C. D. (2017)を参照。 0.71
Get to the point: Summarization with pointer-generator networks. ポイントは、ポインタ生成ネットワークの要約です。 0.49
In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1073–1083, Vancouver, Canada, July. 第55回計算言語学会年次大会(第1巻:長い論文)の議事録では、1073-1083ページ、バンクーバー、カナダ、7月。 0.64
Association for Computational Linguistics. Shirafuji, D., Kameya, H., Rzepka, R., and Araki, K. (2020). 計算言語学会会員。 Shirafuji, D., Kameya, H., Rzepka, R., and Araki, K. (2020)。 0.47
Summarizing utterances from japanese assembly minutes using political sentence-bert-based method for qa lab-poliinfo-2 task of ntcir-15. ntcir-15 の qa lab-poliinfo-2 タスクのための政治文-bert を用いた日本語議事録の要約 0.56
arXiv preprint arXiv:2010.12077. arXiv preprint arXiv:2010.12077 0.36
Sonjia, W. and Gina-Anne, L. (2008). sonjia, w. and gina-anne, l. (2008)。 0.70
Topic summa- rization for multiparty meetings. トピック要約 マルチパーティミーティングのリゼーション。 0.64
Stenetorp, P., Pyysalo, S., Topi´c, G., Ohta, T., Ananiadou, S., and Tsujii, J. (2012). Stenetorp, P., Pysalo, S., Topi ́c, G., Ohta, T., Ananiadou, S., and Tsujii, J. (2012)。 0.87
Brat: a web-based tool for nlp-assisted text annotation. Brat: nlpアシストテキストアノテーションのためのWebベースのツール。 0.67
In Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, pages 102–107. 欧州計算言語学会第13回欧州支部会議でのデモンストレーションの議事録は、102-107ページである。 0.63
Wang, L. and Cardie, C. (2013). wang, l. and cardie, c. (2013)。 0.75
Domain-independent ドメイン非依存 0.47
英語(論文から抽出)日本語訳スコア
abstract generation for focused meeting summarization. 集中会議要約のための抽象生成。 0.73
In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1395–1405. 第51回計算言語学会年次総会(第1巻:長い論文)で1395-1405頁。 0.50
Wang, A., Cho, K., and Lewis, M. (2020). Wang, A., Cho, K. and Lewis, M. (2020)。 0.87
Asking and answering questions to evaluate the factual consistency of summaries. 要約の事実整合性を評価するための質問と回答。 0.67
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 5008–5020. 第58回計算言語学会年次総会の議事録では、5008-5020頁が引用されている。 0.53
Weisser, M. (2003). ヒュッセル、M。 (2003). 0.47
Spaacy–a semi-automated tool for annotating dialogue acts. Spaacy - 対話行動に注釈をつけるための半自動ツール。 0.52
International journal of corpus linguistics, 8(1):63–74. 国際コーパス言語学誌8(1):63-74。 0.75
Zechner, K. (2001a). zechner, k. (2001a)。 0.78
Automatic generation of concise summaries of spoken dialogues in unrestricted domains. 非制限領域における音声対話の簡潔要約の自動生成 0.74
In IN PROC. IN PROC所属。 0.73
ACM SIGIR, pages 199–207, New Orleans, USA. acm sigir, pages 199–207, new orleans, usa. (英語) 0.56
ACM. Zechner, K. acm。 ゼクナー、k。 0.58
(2001b). Automatic Summarization of Spoken Dialogues in Unrestricted Domains. (2001年) 非制限領域における音声対話の自動要約 0.71
Ph.D. thesis, Carnegie Mellon University, Pittsburgh, PA, USA. Ph.D.thesis, Carnegie Mellon University, Pittsburgh, PA, USA 0.45
Zhang, J. J. and Fung, P. (2012). Zhang, J. J. and Fung, P. (2012)。 0.93
Automatic parliamentary meeting minute generation using rhetorical structure modeling. 修辞構造モデリングを用いた議事録自動生成 0.60
IEEE transactions on audio, speech, and language processing, 20(9):2492–2504. IEEEによる音声、音声、言語処理のトランザクション、20(9):2492–2504。 0.76
Zhang, X., Zhang, R., Zaheer, M., and Ahmed, A. (2021). Zhang, X., Zhang, R., Zaheer, M., Ahmed, A. (2021)。 0.78
Unsupervised abstractive dialogue summarization for tete-a-tetes. tete-a-teteの教師なし抽象的対話要約 0.41
Proceedings of the AAAI Conference on Artificial Intelligence, 35(16):14489– 14497, May. aaai conference on artificial intelligence, 35(16):14489–14497, may(英語) 0.35
Zhu, X. and Penn, G. (2006). Zhu, X. and Penn, G. (2006)。 0.48
Summarization of spontaneous conversations. 自発的な会話の要約。 0.69
In Ninth International Conference on Spoken Language Processing. 第9回音声言語処理国際会議に参加して 0.68
Zhu, C., Xu, R., Zeng, M., and Huang, X. (2020a). Zhu, C., Xu, R., Zeng, M. and Huang, X. (2020a)。 0.86
End-to-end abstractive summarization for meetings. 会議のエンドツーエンドの要約。 0.49
CoRR, abs/2004.02016. en:corr, abs/2004.02016。 0.36
Zhu, C., Xu, R., Zeng, M., and Huang, X. (2020b). Zhu, C., Xu, R., Zeng, M. and Huang, X. (2020b)。 0.86
A hierarchical network for abstractive meeting summarization with cross-domain pretraining. クロスドメイン事前学習による要約要約を抽象化する階層ネットワーク 0.71
In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 194–203, Online, November. en:association for computational linguistics: emnlp 2020, pages 194–203, online, novemberを参照。 0.75
Association for Computational Linguistics. Zhu, C., Liu, Y., Mei, J., and Zeng, M. (2021). 計算言語学会会員。 Zhu, C., Liu, Y., Mei, J., Zeng, M. (2021)。 0.66
Mediasum: A large-scale media interview dataset for dialogue summarization. Mediasum:対話要約のための大規模メディアインタビューデータセット。 0.72
In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 5927–5934. 2021年、アメリカ計算言語学会北アメリカ支部会議(英語版)において、Human Language Technologies, page 5927-5934。 0.70
                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。