論文の概要: FiSTECH: Financial Style Transfer to Enhance Creativity without Hallucinations in LLMs

• arxiv url: http://arxiv.org/abs/2408.05365v3
• Date: Mon, 11 Nov 2024 07:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:05:41.111598
• Title: FiSTECH: Financial Style Transfer to Enhance Creativity without Hallucinations in LLMs
• Title（参考訳）: FiSTECH:LLMにおける幻覚のない創造性への金融スタイルの移転
• Authors: Sohini Roychowdhury, Marko Krema, Brian Moore, Xingjian Lai, Dike Effedua, Bharat Jethwani,
• Abstract要約: 我々は,大規模言語モデル(LLM)の自己修正的自己回帰特性を探求し,最小限のプロンプトで書き方で創造性を学習する。 本稿では,2段階のファインチューニング(FT)戦略を提案し,第1段階のパブリックドメインファイナンシャルレポートを用いて書体スタイルのトレーニングを行い,LLMの幻覚を許容する。 提案する2段階ファインチューニングは,幻覚を50%以上減らしながら,2段階の金融質問の精度を向上する。
• 参考スコア（独自算出の注目度）: 0.3958317527488534
• License:
• Abstract: Recent trends in Generative AI have emerged towards fine-tuning foundational large language models (LLMs) to create domain-specific LLMs for automation and chatbot-like applications. Specialized applications for analytics-heavy domains such as Financial report generation require specific writing styles that comprise compound and creative sentences with minimized hallucinations. In this work, we explore the self-corrective auto-regressive qualities of LLMs to learn creativity in writing styles with minimal prompting. We propose a novel two-stage fine-tuning (FT) strategy wherein in the first stage public domain financial reports are used to train for writing styles while allowing the LLM to hallucinate. In the second stage the examples of hallucinations are manually corrected and further used to fine-tune the LLM. The finally trained LLM learns to generate specific financial report sections using minimal instructions and tabular data inputs while ensuring low fine-tuning costs. Our proposed two-stage fine-tuning boosts the accuracy of financial questions answering by two-folds while reducing hallucinations by over 50%. Also, the fine-tuned model has lower perplexity, improved ROUGE, TER and BLEU scores, higher creativity and knowledge density with lower uncertainty and cross entropy than base LLMs. Thus, the proposed framework can be generalized to train creativity in LLMs by first allowing them to hallucinate.
• Abstract（参考訳）: Generative AIの最近のトレンドは、自動化やチャットボットのようなアプリケーションのためのドメイン固有のLLMを作成するために、微調整された基盤となる大規模言語モデル(LLM)に向かっている。 ファイナンシャル・レポート・ジェネレーション(英語版)のような分析に重きを置く分野の専門的な応用は、幻覚を最小限に抑えた複合文と創造文からなる特定の書体スタイルを必要とする。 本研究では,LLMの自己修正的自己回帰的性質を探求し,最小限のプロンプトで書体で創造性を学習する。 本稿では,2段階のファインチューニング(FT)戦略を提案し,第1段階のパブリックドメインファイナンシャルレポートを用いて書体スタイルのトレーニングを行い,LLMの幻覚を許容する。 第2段階では幻覚の例は手動で修正され、さらにLSMを微調整するために使用される。 最終的に訓練されたLLMは、最小限の命令と表形式のデータ入力を使用して、微調整コストを低く抑えながら、特定の財務報告セクションを生成することを学ぶ。 提案する2段階ファインチューニングは,幻覚を50%以上減らしながら,2段階の金融質問の精度を向上する。 また, 微調整モデルでは, 難易度が低く, ROUGE, TER, BLEUスコアが向上し, 創造性や知識密度が向上し, 基礎LLMよりも高い不確実性とクロスエントロピーが得られた。 したがって、提案フレームワークは、まず幻覚を許容することにより、LCMの創造性を訓練するために一般化することができる。

関連論文リスト

• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• Prompt Recursive Search: A Living Framework with Adaptive Growth in LLM Auto-Prompting [22.025533583703126]
  大規模言語モデル(LLM)のためのPRS(Prompt Recursive Search)フレームワークを提案する。 PRSフレームワークは、問題複雑性と調整可能な構造の評価を取り入れ、エラーの可能性の低減を確実にする。 The Chain of Thought(CoT)法と比較して, PRS法は, Llama3-7Bモデルを用いてBBHデータセットの精度を8%向上し, 22%の改善を実現した。
  論文  参考訳（メタデータ） (2024-08-02T17:59:42Z)
• APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching [5.92432068962337]
  Generalized Entity Matching (GEM)は、異なるフォーマットで表される2つのレコードが同じ現実世界のエンティティを指すかどうかを判定することを目的としている。 本稿では,2つの主な改善点からなる課題に対する拡張的プロンプトチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T05:38:56Z)
• Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models [58.46926334842161]
  この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。 本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。 提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-10T22:07:42Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Advancing Precise Outline-Conditioned Text Generation with Task Duality and Explicit Outline Control [15.881568820009797]
  そこで我々は,Precise Outline-conditioned Generationと呼ばれる新しいテキスト生成タスクを導入する。 このタスクは、特定の文レベルのアウトラインに基づいてストーリーを生成する必要がある。 本稿では,要約と生成のタスク双対性を生かした,明示的なアウトライン利用制御手法と新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T18:33:52Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。