論文の概要: Identifying Factual Inconsistency in Summaries: Towards Effective Utilization of Large Language Model

• arxiv url: http://arxiv.org/abs/2402.12821v1
• Date: Tue, 20 Feb 2024 08:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:21:46.265171
• Title: Identifying Factual Inconsistency in Summaries: Towards Effective Utilization of Large Language Model
• Title（参考訳）: 相補的不整合の同定:大規模言語モデルの有効活用を目指して
• Authors: Liyan Xu, Zhenlin Su, Mo Yu, Jin Xu, Jinho D. Choi, Jie Zhou, Fei Liu
• Abstract要約: この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか? 実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。 実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
• 参考スコア（独自算出の注目度）: 50.71344457241456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Factual inconsistency poses a significant hurdle for the commercial deployment of abstractive summarizers. Under this Large Language Model (LLM) era, this work focuses around two important questions: what is the best way to leverage LLM for factual inconsistency detection, and how could we distill a smaller LLM with both high efficiency and efficacy? Three zero-shot paradigms are firstly proposed and evaluated across five diverse datasets: direct inference on the entire summary or each summary window; entity verification through question generation and answering. Experiments suggest that LLM itself is capable to resolve this task train-free under the proper paradigm design, surpassing strong trained baselines by 2.8% on average. To further promote practical utility, we then propose training strategies aimed at distilling smaller open-source LLM that learns to score the entire summary at once with high accuracy, which outperforms the zero-shot approaches by much larger LLM, serving as an effective and efficient ready-to-use scorer.
• Abstract（参考訳）: 現実的な矛盾は抽象的な要約器の商業展開にとって大きなハードルとなる。 この大規模な言語モデル(llm)の時代において、この研究は2つの重要な質問に焦点を当てている。 最初に3つのゼロショットパラダイムが提案され、5つの多様なデータセットで評価される: 要約全体または各要約ウィンドウの直接推論、質問の生成と応答によるエンティティ検証。 実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。 実用性をさらに向上するため,我々は,より大規模なLCMによるゼロショットアプローチよりも優れ,より効果的かつ効率的なスコアラーとして機能する,より小さなオープンソースLCMの蒸留を目的としたトレーニング戦略を提案する。

関連論文リスト

• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける情報ゲインの定量化を行い、障害モードの識別を可能にする。 提案手法の有効性を,玩具およびGSM-8Kデータに対する広範囲な実験により実証し,既存の結果に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Rethinking Semantic Parsing for Large Language Models: Enhancing LLM Performance with Semantic Hints [20.844061807562436]
  本稿では,意味的ヒントをプロンプト内に埋め込む新しいプロンプト手法であるSENSEを提案する。 実験の結果、SENSE は様々なタスクで LLM のパフォーマンスを継続的に改善していることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T14:35:09Z)
• DaRec: A Disentangled Alignment Framework for Large Language Model and Recommender System [83.34921966305804]
  大規模言語モデル (LLM) はレコメンデーションシステムにおいて顕著な性能を示した。 LLMと協調モデルのための新しいプラグ・アンド・プレイアライメントフレームワークを提案する。 我々の手法は既存の最先端アルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2024-08-15T15:56:23Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing [37.400757839157116]
  大言語モデル(LLM)は、与えられた記事に対する抽象的な要約のゼロショット生成において最先端のパフォーマンスを達成した。 本稿では,LLMのロバスト性を測定するためのシンプルな戦略であるrelevance paraphrasingを提案する。
  論文  参考訳（メタデータ） (2024-06-06T12:08:43Z)
• A Survey on Efficient Inference for Large Language Models [25.572035747669275]
  大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。 LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。 本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
  論文  参考訳（メタデータ） (2024-04-22T15:53:08Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Incorporating LLM Priors into Tabular Learners [6.835834518970967]
  分類変数のランク付けにLarge Language Models(LLM)を利用する2つの戦略を導入する。 我々は、順序を基数にマッピングするために非線形単調関数を用いるモノトニックLRを導入する、ロジスティック回帰に焦点を当てる。
  論文  参考訳（メタデータ） (2023-11-20T09:27:09Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。