論文の概要: ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and
Evaluation
- arxiv url: http://arxiv.org/abs/2205.05433v1
- Date: Wed, 11 May 2022 12:16:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 02:37:22.626358
- Title: ALIGNMEET: A Comprehensive Tool for Meeting Annotation, Alignment, and
Evaluation
- Title(参考訳): ALIGNMEET:ミーティングアノテーション、アライメント、評価のための総合ツール
- Authors: Peter Pol\'ak, Muskaan Singh, Anna Nedoluzhko, Ond\v{r}ej Bojar
- Abstract要約: ALIGNMEETはアノテーション、アライメント、評価に合うツールである。
エラーを起こすリスクを軽減しつつ、高速なアノテーションのための効率的で明確なインターフェースを提供することを目標としている。
会議の時間帯の総合的な品質評価を可能にする評価モードを追加します。
- 参考スコア(独自算出の注目度): 0.14664973275026982
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Summarization is a challenging problem, and even more challenging is to
manually create, correct, and evaluate the summaries. The severity of the
problem grows when the inputs are multi-party dialogues in a meeting setup. To
facilitate the research in this area, we present ALIGNMEET, a comprehensive
tool for meeting annotation, alignment, and evaluation. The tool aims to
provide an efficient and clear interface for fast annotation while mitigating
the risk of introducing errors. Moreover, we add an evaluation mode that
enables a comprehensive quality evaluation of meeting minutes. To the best of
our knowledge, there is no such tool available. We release the tool as open
source. It is also directly installable from PyPI.
- Abstract(参考訳): 要約は難しい問題であり、さらに難しいのは、手動で要約を作成し、修正し、評価することだ。
会議設定において、入力が多人数対話であるときに問題の深刻度が増大する。
そこで本研究では,アノテーション,アライメント,評価の総合的なツールであるALIGNMEETについて紹介する。
このツールは、エラーを起こすリスクを軽減しつつ、高速なアノテーションのための効率的で明確なインターフェースを提供することを目的としている。
さらに,会議時間に関する総合的な品質評価を可能にする評価モードも追加する。
私たちの知る限りでは、そのようなツールは利用できません。
ツールをオープンソースとしてリリースしています。
PyPIから直接インストールすることもできる。
関連論文リスト
- Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool
Utilization in Real-World Complex Scenarios [95.97781233780357]
UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。
現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。
UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
論文 参考訳(メタデータ) (2024-01-30T16:52:56Z) - ToolTalk: Evaluating Tool-Usage in a Conversational Setting [6.792842055445584]
本稿では,対話によって特定される多段階ツールの使用を必要とする複雑なユーザ意図のベンチマークであるToolTalkを紹介する。
ToolTalkには7つのプラグインにグループ化された28のツールが含まれており、各ツールの完全なシミュレートされた実装が含まれている。
ツールTalkにおけるGPT-3.5とGPT-4の評価は,それぞれ26%,50%であった。
論文 参考訳(メタデータ) (2023-11-15T23:50:31Z) - ControlLLM: Augment Language Models with Tools by Searching on Graphs [97.62758830255002]
我々は,大規模言語モデル(LLM)が実世界のタスクを解くためのマルチモーダルツールを利用できる新しいフレームワークであるControlLLMを提案する。
フレームワークは,(1)複雑なタスクを明確なサブタスクに分割し,入力と出力を適切に定義したサブタスクに分解するtextittask Decomposer,(2)構築済みのツールグラフ上で最適なソリューションパスを探索する textitThoughts-on-Graph(ToG)パラダイム,(3)ソリューションパスを解釈して実行するリッチなツールボックスを備えた textitexecution Engine,の3つの主要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-10-26T21:57:21Z) - Minuteman: Machine and Human Joining Forces in Meeting Summarization [2.900810893770134]
本稿では,効率的なセミオートマチックミーティングを実現するための新しいツールを提案する。
このツールは、ユーザーが共同で編集できるライブの書き起こしとライブミーティングの要約を提供する。
結果として得られたアプリケーションは、メモ係の認知的負荷を緩和し、ミーティングの一部が欠席したり、焦点が合わなかったりして、簡単に追いつくことができる。
論文 参考訳(メタデータ) (2023-09-11T07:10:47Z) - ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world
APIs [104.37772295581088]
オープンソースの大規模言語モデル(LLM)、例えばLLaMAは、ツール使用能力に大きく制限されている。
データ構築、モデルトレーニング、評価を含む汎用ツールであるToolLLMを紹介する。
ツール使用のためのインストラクションチューニングフレームワークであるToolBenchを,ChatGPTを使って自動構築する。
論文 参考訳(メタデータ) (2023-07-31T15:56:53Z) - PREME: Preference-based Meeting Exploration through an Interactive
Questionnaire [42.15618129718574]
好みに基づく会議探索のための対話型アンケートを生成するためのエンドツーエンドフレームワークを提案する。
ユーザーは好みを反映した質問のリストが提供される。
タスクは新しいので,自動評価戦略を導入する。
論文 参考訳(メタデータ) (2022-05-05T00:12:04Z) - Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and
Context-Aware Auto-Encoders [59.038157066874255]
本稿では,手動ラベル付きデータを用いずにチャット要約を行うrankaeという新しいフレームワークを提案する。
RankAEは、中心性と多様性に応じてトピックの発話を同時に選択するトピック指向のランキング戦略で構成されています。
消音自動エンコーダは、選択された発話に基づいて簡潔でコンテキスト情報に基づいた要約を生成するように設計されています。
論文 参考訳(メタデータ) (2020-12-14T07:31:17Z) - FLAVA: Find, Localize, Adjust and Verify to Annotate LiDAR-Based Point
Clouds [93.3595555830426]
アノテーションプロセスにおけるヒューマンインタラクションを最小化するための体系的アプローチであるFLAVAを提案する。
具体的には、アノテーションパイプラインを、検索、ローカライズ、調整、検証の4つの部分に分割します。
また,本システムでは,実験結果を伝搬する軽量で効果的な機構を導入することにより,インタラクションの量を大幅に削減する。
論文 参考訳(メタデータ) (2020-11-20T02:22:36Z) - HUMAN: Hierarchical Universal Modular ANnotator [14.671297336775387]
a) テキストデータと画像データの両方で様々なアノテーションタスクをカバーし, b) 内部決定論的状態マシンの使用法を記述した, 上記の問題に対処する新しいWebベースのアノテーションツールを提案する。
Humaneには、アノテーションのタスクと管理を簡単にするグラフィカルなユーザインターフェースが付属している。
論文 参考訳(メタデータ) (2020-10-02T16:20:30Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。