論文の概要: Confidence-Aware Sub-Structure Beam Search (CABS): Mitigating Hallucination in Structured Data Generation with Large Language Models
- arxiv url: http://arxiv.org/abs/2406.00069v1
- Date: Thu, 30 May 2024 18:21:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 08:43:16.497029
- Title: Confidence-Aware Sub-Structure Beam Search (CABS): Mitigating Hallucination in Structured Data Generation with Large Language Models
- Title（参考訳）: 信頼度を考慮したサブストラクチャービームサーチ(CABS):大規模言語モデルを用いた構造化データ生成における幻覚の軽減
- Authors: Chengwei Wei, Kee Kiat Koo, Amir Tavanaei, Karim Bouyarmane,
- Abstract要約: LLM(Large Language Models)における信頼度推定手法は主に、個々のトークンレベルや出力シーケンスレベル全体の信頼度に重点を置いている。
本稿では、構造化データ生成におけるサブ構造レベルで動作する新しい復号法である、信頼性対応サブ構造ビームサーチ(CABS)を提案する。
その結果、CABSは、製品属性生成の問題で平均90%の精度で、構造化データ生成における従来のトークンレベルのビーム探索を16.7%リコールした。
- 参考スコア（独自算出の注目度）: 6.099774114286838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have facilitated structured data generation, with applications in domains like tabular data, document databases, product catalogs, etc. However, concerns persist about generation veracity due to incorrect references or hallucinations, necessitating the incorporation of some form of model confidence for mitigation. Existing confidence estimation methods on LLM generations primarily focus on the confidence at the individual token level or the entire output sequence level, limiting their applicability to structured data generation, which consists of an intricate mix of both independent and correlated entries at the sub-structure level. In this paper, we first investigate confidence estimation methods for generated sub-structure-level data. We introduce the concept of Confidence Network that applies on the hidden state of the LLM transformer, as a more targeted estimate than the traditional token conditional probability. We further propose Confidence-Aware sub-structure Beam Search (CABS), a novel decoding method operating at the sub-structure level in structured data generation. CABS enhances the faithfulness of structured data generation by considering confidence scores from the Confidence Network for each sub-structure-level data and iteratively refining the prompts. Results show that CABS outperforms traditional token-level beam search for structured data generation by 16.7% Recall at 90% precision averagely on the problem of product attribute generation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は構造化データ生成を容易にし、表形式のデータ、ドキュメントデータベース、製品カタログなどのドメインに応用しています。
しかし、誤った参照や幻覚による生成の正確性への懸念が続き、緩和のためにある種のモデル信頼が組み込まれる必要がある。
LLM世代における既存の信頼度推定法は主に、個々のトークンレベルまたは出力シーケンスレベル全体の信頼度に重点を置いており、サブ構造レベルでの独立および相関の両方のエントリの複雑な混合からなる構造化データ生成への適用性を制限する。
本稿では,生成したサブ構造レベルのデータに対する信頼度推定法について検討する。
本稿では, LLMトランスの隠れ状態に適用する信頼ネットワークの概念を, 従来のトークン条件の確率よりも高い目標推定値として導入する。
さらに、構造化データ生成におけるサブ構造レベルで動作する新しい復号法である、信頼性に配慮したサブ構造ビームサーチ(CABS)を提案する。
CABSは、各サブ構造レベルのデータに対する信頼ネットワークからの信頼度を考慮し、プロンプトを反復的に精製することにより、構造化データ生成の忠実度を高める。
その結果、CABSは、製品属性生成の問題で平均90%の精度で、構造化データ生成における従来のトークンレベルのビーム探索を16.7%リコールした。
関連論文リスト
- Domain Specific Data Distillation and Multi-modal Embedding Generation [0.0]
ドメイン中心の埋め込みを作成するという課題は、非構造化データの豊富さとドメイン固有の構造化データの不足から生じる。
本稿では,非構造化データからノイズをフィルタリングするために構造化データを活用する新しいモデリング手法を提案する。
論文 参考訳（メタデータ） (2024-10-27T03:47:46Z) - Bridging Textual and Tabular Worlds for Fact Verification: A Lightweight, Attention-Based Model [34.1224836768324]
FEVEROUSは、事実抽出と検証タスクに焦点を当てた、ベンチマークおよび研究イニシアチブである。
本稿では,モダリティ変換の必要性を解消する,単純だが強力なモデルを提案する。
提案手法は,異なるデータ型間の遅延接続を効果的に利用することにより,包括的かつ信頼性の高い検証予測を実現する。
論文 参考訳（メタデータ） (2024-03-26T03:54:25Z) - Structured Language Generation Model for Robust Structure Prediction [6.4736137270915215]
損失校正・復号法における手法を用いて,シーケンス・ツー・シーケンスの問題を分類問題に還元するフレームワークを提案する。
実験結果から,SLGMはデータセット情報を明示せずに,データセット固有の微調整を追従し,置き換えることが可能であることが示唆された。
論文 参考訳（メタデータ） (2024-02-14T06:33:22Z) - Benchmarking and Analyzing Generative Data for Visual Recognition [66.55174903469722]
この研究は生成的画像の影響を深く掘り下げ、主に外部データを利用するパラダイムを比較する。
我々は、2548のカテゴリを持つ22のデータセットからなるベンチマークである textbfGenBench を考案し、様々な視覚的認識タスクにまたがる生成データを評価した。
我々の徹底的なベンチマークと分析は、将来の調査における重要な課題を特定しながら、視覚認識における生成データの約束をスポットライトで示している。
論文 参考訳（メタデータ） (2023-07-25T17:59:59Z) - Geometric Deep Learning for Structure-Based Drug Design: A Survey [83.87489798671155]
構造に基づく薬物設計(SBDD)は、タンパク質の3次元幾何学を利用して、潜在的な薬物候補を特定する。
近年の幾何学的深層学習の進歩は、3次元幾何学的データを効果的に統合・処理し、この分野を前進させてきた。
論文 参考訳（メタデータ） (2023-06-20T14:21:58Z) - On Certified Generalization in Structured Prediction [1.0152838128195467]
構造化予測では、対象オブジェクトは独立成分に分解されない豊富な内部構造を持つ。
一般化の速度は、構造化された例の数だけでなく、その大きさでスケールする、構造化予測のための新しいPAC-ベイジアンリスクバウンドを提案する。
論文 参考訳（メタデータ） (2023-06-15T13:15:26Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - A Confidence-based Partial Label Learning Model for Crowd-Annotated
Named Entity Recognition [74.79785063365289]
名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。
我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
論文 参考訳（メタデータ） (2023-05-21T15:31:23Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳（メタデータ） (2022-10-19T16:40:28Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳（メタデータ） (2022-10-16T04:35:58Z) - HYCEDIS: HYbrid Confidence Engine for Deep Document Intelligence System [16.542137414609602]
本稿では,文書情報抽出作業における現在のディープラーニングモデルの信頼度を測定するための,完全かつ斬新なアーキテクチャを提案する。
本アーキテクチャは,マルチモーダル・コンフォーマル予測器と変分クラスタ指向異常検出器から構成される。
我々は,本アーキテクチャを実世界のデータセット上で評価し,競合する信頼度推定器を巨大なマージンで上回るだけでなく,分布外データに対する一般化能力を示す。
論文 参考訳（メタデータ） (2022-06-01T09:57:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。