論文の概要: MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf

• arxiv url: http://arxiv.org/abs/2502.04376v1
• Date: Wed, 05 Feb 2025 16:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:32.939486
• Title: MEETING DELEGATE: Benchmarking LLMs on Attending Meetings on Our Behalf
• Title（参考訳）: 会議の質を測る - LLMのベンチマーク-
• Authors: Lingxiang Hu, Shurun Yuan, Xiaoting Qin, Jue Zhang, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語の生成と推論において、その強力な能力を実証している。 LLMを用いた会議委任システムのプロトタイプを開発し、実際の会議書き起こしを用いたベンチマークを作成する。 GPT-4/4oは、アクティブなエンゲージメント戦略と慎重なエンゲージメント戦略のバランスの取れた性能を維持している。 Gemini 1.5 Proはより慎重で、Gemini 1.5 FlashとLlama3-8B/70Bはよりアクティブな傾向を示す。
• 参考スコア（独自算出の注目度）: 31.889028210500165
• License:
• Abstract: In contemporary workplaces, meetings are essential for exchanging ideas and ensuring team alignment but often face challenges such as time consumption, scheduling conflicts, and inefficient participation. Recent advancements in Large Language Models (LLMs) have demonstrated their strong capabilities in natural language generation and reasoning, prompting the question: can LLMs effectively delegate participants in meetings? To explore this, we develop a prototype LLM-powered meeting delegate system and create a comprehensive benchmark using real meeting transcripts. Our evaluation reveals that GPT-4/4o maintain balanced performance between active and cautious engagement strategies. In contrast, Gemini 1.5 Pro tends to be more cautious, while Gemini 1.5 Flash and Llama3-8B/70B display more active tendencies. Overall, about 60\% of responses address at least one key point from the ground-truth. However, improvements are needed to reduce irrelevant or repetitive content and enhance tolerance for transcription errors commonly found in real-world settings. Additionally, we implement the system in practical settings and collect real-world feedback from demos. Our findings underscore the potential and challenges of utilizing LLMs as meeting delegates, offering valuable insights into their practical application for alleviating the burden of meetings.
• Abstract（参考訳）: 現代の職場では、アイデアの交換やチームの整合性の確保にはミーティングが不可欠ですが、時間消費やスケジュールの衝突、非効率な参加といった課題に直面します。 大規模言語モデル(LLM)の最近の進歩は、自然言語の生成と推論において、その強力な能力を実証している。 そこで本研究では,LLMを用いた会議委任システムのプロトタイプを開発し,実際の会議書き起こしを用いた総合的なベンチマークを作成する。 評価の結果,GPT-4/4oは能動的および慎重なエンゲージメント戦略のバランスの取れた性能を維持していることが明らかとなった。 対照的に、Gemini 1.5 Proはより慎重で、Gemini 1.5 FlashとLlama3-8B/70Bはよりアクティブな傾向を示す。 全体として、応答の約60%は、地上から少なくとも1つのキーポイントに対処する。 しかし、無関係または反復的なコンテンツを減らすことや、現実世界でよく見られる書き起こしエラーに対する耐性を高めるためには改善が必要である。 さらに,実際の設定でシステムを実装し,実世界のフィードバックをデモから収集する。 本研究は, LLMを会議代表として活用する可能性と課題を明らかにし, 会議の負担を軽減するための実践的応用に関する貴重な知見を提供する。

関連論文リスト

• MMRC: A Large-Scale Benchmark for Understanding Multimodal Large Language Model in Real-World Conversation [52.35744453954844]
  本稿では,MLLMの6つのコアオープンエンド能力を評価するベンチマークであるMMRCを紹介する。 MMRCにおける20個のMLLMの評価は、オープンエンド相互作用における精度低下を示している。 そこで我々は,会話から重要な情報を記録し,その応答中にモデルを思い出させる,シンプルで効果的なNOTE-TAKing戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-17T15:24:49Z)
• Do Large Language Models with Reasoning and Acting Meet the Needs of Task-Oriented Dialogue? [10.464799846640625]
  タスク指向対話(TOD)を行う大規模言語モデル(LLM)のガイドにReAct戦略を適用した。 ReAct-LLMは、シミュレーションにおける最先端のアプローチを過小評価しているように見えるが、人間による評価は、手作りシステムよりも高いユーザ満足度を示している。
  論文  参考訳（メタデータ） (2024-12-02T08:30:22Z)
• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• What's Wrong? Refining Meeting Summaries with LLM Feedback [6.532478490187084]
  本稿では,人間レビュープロセスを模倣した2段階プロセスを用いて,会議要約のためのマルチLLM補正手法を提案する。 QMSum Mistakeは、人によって注釈付けされた会議要約を9種類のエラータイプで自動生成する200のデータセットである。 特定ミスを実用的なフィードバックに変換することで,関連性,情報性,簡潔性,一貫性によって測定された要約の質を向上させる。
  論文  参考訳（メタデータ） (2024-07-16T17:10:16Z)
• Large Language Model Agents for Improving Engagement with Behavior Change Interventions: Application to Digital Mindfulness [17.055863270116333]
  大規模言語モデルは、社会的支援をエミュレートできる人間のような対話を提供するという約束を示す。 LLMエージェントがマインドフルネス運動のユーザエンゲージメントに与える影響を評価するために2つのランダム化実験を行った。
  論文  参考訳（メタデータ） (2024-07-03T15:43:16Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Summaries, Highlights, and Action items: Design, implementation and evaluation of an LLM-powered meeting recap system [30.35387091657807]
  対話要約のための大規模言語モデル(LLM)は、ミーティングの体験を改善する可能性がある。 この可能性にもかかわらず、長い書き起こしと、ユーザのコンテキストに基づいて多様なリキャップニーズをキャプチャできないため、技術的な制限に直面している。 本研究では,対話要約による表現をビルディングブロックとして運用するシステムを開発した。
  論文  参考訳（メタデータ） (2023-07-28T20:25:11Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• RICA: Evaluating Robust Inference Capabilities Based on Commonsense Axioms [41.82685006832153]
  我々は,Commonsense Axiomsに基づくロバスト推論機能であるRICAを提案する。 我々は,コモンセンス知識ベースを用いて,この課題のためのデータを生成し,2つの異なる評価設定でPTLMを探索する。 実験により、PTLMはゼロショット設定でのランダムな推測に勝らず、統計的バイアスに大きく影響し、摂動攻撃に対して堅牢ではないことが示された。
  論文  参考訳（メタデータ） (2020-05-02T10:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。