論文の概要: Xinyu: An Efficient LLM-based System for Commentary Generation

• arxiv url: http://arxiv.org/abs/2408.11609v2
• Date: Fri, 23 Aug 2024 03:40:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 10:14:02.514884
• Title: Xinyu: An Efficient LLM-based System for Commentary Generation
• Title（参考訳）: 新友:注釈生成のための効率的なLCMシステム
• Authors: Yiquan Wu, Bo Tang, Chenyang Xi, Yu Yu, Pengyu Wang, Yifei Liu, Kun Kuang, Haiying Deng, Zhiyu Li, Feiyu Xiong, Jie Hu, Peng Cheng, Zhonghao Wang, Yi Wang, Yi Luo, Mingchuan Yang,
• Abstract要約: 新友(しんゆう)は、中国の注釈文作成のコメンテーターを支援するために設計された、効率的なLCMベースのシステムである。 基本要件を満たすため、我々は生成プロセスを逐次ステップに分解し、ターゲット戦略を提案し、微調整を監督する。 実際のシナリオではコメンテーターの効率が大幅に向上し,コメント作成に要する平均時間は4時間から20分に短縮された。
• 参考スコア（独自算出の注目度）: 39.244433599884744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Commentary provides readers with a deep understanding of events by presenting diverse arguments and evidence. However, creating commentary is a time-consuming task, even for skilled commentators. Large language models (LLMs) have simplified the process of natural language generation, but their direct application in commentary creation still faces challenges due to unique task requirements. These requirements can be categorized into two levels: 1) fundamental requirements, which include creating well-structured and logically consistent narratives, and 2) advanced requirements, which involve generating quality arguments and providing convincing evidence. In this paper, we introduce Xinyu, an efficient LLM-based system designed to assist commentators in generating Chinese commentaries. To meet the fundamental requirements, we deconstruct the generation process into sequential steps, proposing targeted strategies and supervised fine-tuning (SFT) for each step. To address the advanced requirements, we present an argument ranking model for arguments and establish a comprehensive evidence database that includes up-to-date events and classic books, thereby strengthening the substantiation of the evidence with retrieval augmented generation (RAG) technology. To evaluate the generated commentaries more fairly, corresponding to the two-level requirements, we introduce a comprehensive evaluation metric that considers five distinct perspectives in commentary generation. Our experiments confirm the effectiveness of our proposed system. We also observe a significant increase in the efficiency of commentators in real-world scenarios, with the average time spent on creating a commentary dropping from 4 hours to 20 minutes. Importantly, such an increase in efficiency does not compromise the quality of the commentaries.
• Abstract（参考訳）: 解説は、様々な議論と証拠を提示することで、読者にイベントの深い理解を提供する。 しかし、熟練したコメンテーターにとっても、コメンテータを作成するのに時間がかかります。 大規模言語モデル(LLM)は、自然言語生成のプロセスを単純化しているが、コメント作成における直接的な適用は、ユニークなタスク要求のため、依然として課題に直面している。 これらの要件は、次の2つのレベルに分類される。 1) 十分に構造化され論理的に整合した物語を作成することを含む基本的な要件。 2) 質の議論を発生させ、証拠を提出する先進的な要件。 本稿では,中国語の注釈作成において,コメンテーターを支援するための効率的なLLMベースのシステムであるXinyuを紹介する。 基本要件を満たすため、我々は生成プロセスを逐次ステップに分解し、ターゲット戦略を提案し、各ステップごとに微調整(SFT)を監督する。 高度な要件に対処するために、議論のための議論ランキングモデルを提案し、最新のイベントや古典書を含む包括的なエビデンスデータベースを構築し、その結果、検索拡張生成(RAG)技術によるエビデンスのサブスタンスを強化する。 2段階の要件に応じて、より公平に生成されたコメントを評価するために、コメント生成における5つの異なる視点を考慮した総合的な評価指標を導入する。 本システムの有効性を実験により検証した。 また、実際のシナリオではコメンテーターの効率が大幅に向上し、コメント作成に要する平均時間は4時間から20分に短縮された。 重要なのは、こうした効率の向上がコメントの質を損なうことはないことだ。

関連論文リスト

• Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
  対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。 また,LLM支援型評価器であるInsEvalを提案する。
  論文  参考訳（メタデータ） (2024-10-01T09:10:00Z)
• Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
  本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。 我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。 現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:04Z)
• Enhancing Commentary Strategies for Imperfect Information Card Games: A Study of Large Language Models in Guandan Commentary [5.1244906826828736]
  強化学習(RL)と大規模言語モデル(LLM)を組み合わせた新しい注釈手法を提案する。 本システムでは,RLを利用して複雑なカード再生シナリオを生成し,LLMを用いて対応する注釈文を生成する。 オープンソース LLM に適用した場合,提案する注釈フレームワークによって達成される性能の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-06-23T11:58:26Z)
• Think-then-Act: A Dual-Angle Evaluated Retrieval-Augmented Generation [3.2134014920850364]
  大型言語モデル(LLM)は時相の誤りや幻覚的内容の生成といった課題に直面していることが多い。 二重角評価による検索拡張生成フレームワーク textitThink-then-Act を提案する。
  論文  参考訳（メタデータ） (2024-06-18T20:51:34Z)
• Thinking Fair and Slow: On the Efficacy of Structured Prompts for Debiasing Language Models [14.405446719317291]
  既存のデバイアス技術はトレーニングベースまたはモデルの内部および出力分布へのアクセスを必要とするのが一般的である。 我々は,システム2の思考プロセスを適用し,論理的,反射的,批判的テキスト生成を誘導する,包括的エンドユーザー中心のデバイアスの反復的枠組みを評価する。
  論文  参考訳（メタデータ） (2024-05-16T20:27:58Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。