論文の概要: Graph-based Uncertainty Metrics for Long-form Language Model Outputs

• arxiv url: http://arxiv.org/abs/2410.20783v1
• Date: Mon, 28 Oct 2024 06:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:18.931582
• Title: Graph-based Uncertainty Metrics for Long-form Language Model Outputs
• Title（参考訳）: 長文言語モデル出力のためのグラフベース不確かさメトリクス
• Authors: Mingjian Jiang, Yangjun Ruan, Prasanna Sattigeri, Salim Roukos, Tatsunori Hashimoto,
• Abstract要約: グラフ不確実性(Graph Uncertainty) - LLM世代とそれらの内部のクレームの関係を二部グラフとして表現する。 グラフ構造と不確実性推定の両方を活用する不確実性を考慮した復号化手法を提案する。
• 参考スコア（独自算出の注目度）: 48.01322241166398
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly improved text generation capabilities, but these systems are still known to hallucinate, and granular uncertainty estimation for long-form LLM generations remains challenging. In this work, we propose Graph Uncertainty -- which represents the relationship between LLM generations and claims within them as a bipartite graph and estimates the claim-level uncertainty with a family of graph centrality metrics. Under this view, existing uncertainty estimation methods based on the concept of self-consistency can be viewed as using degree centrality as an uncertainty measure, and we show that more sophisticated alternatives such as closeness centrality provide consistent gains at claim-level uncertainty estimation. Moreover, we present uncertainty-aware decoding techniques that leverage both the graph structure and uncertainty estimates to improve the factuality of LLM generations by preserving only the most reliable claims. Compared to existing methods, our graph-based uncertainty metrics lead to an average of 6.8% relative gains on AUPRC across various long-form generation settings, and our end-to-end system provides consistent 2-4% gains in factuality over existing decoding techniques while significantly improving the informativeness of generated responses.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩はテキスト生成能力を大幅に向上させたが、これらのシステムはまだ幻覚化が知られており、長期LLM世代に対するきめ細かい不確実性評価は依然として困難である。 本研究では, LLM世代とそれらの内在するクレームの関係を二部グラフとして表現し, グラフ集中度指標のファミリを用いてクレームレベルの不確実性を推定するグラフ不確実性を提案する。 この観点から、自己整合性の概念に基づく既存の不確実性推定手法は、次数集中度を不確実性尺度とみなすことができ、クローズネス中心性のようなより洗練された代替手段がクレームレベル不確実性推定において一貫した利得をもたらすことを示す。 さらに,グラフ構造と不確実性推定の両方を活用する不確実性認識復号化手法を提案する。 従来の手法と比較して,我々のグラフベースの不確実性指標は,様々な長文生成設定において平均6.8%の相対的な利得をもたらし,我々のエンドツーエンドシステムは,既存の復号化技術に対して一貫した2～4%の利得を提供しながら,生成した応答の伝達性を大幅に向上させる。

関連論文リスト

• Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models [42.563558441750224]
  大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。 現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。 本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:07:15Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing [24.685942503019948]
  本稿では,大言語モデル(LLM)のパワーを生かした新しい手法を提案する。 筆者らは,2つのグラフ処理タスク,すなわち知識グラフ補完とグラフ分類について実験を行った。 LLM が生成した回答の正確性を予測するため,10 つのデータセットのうち 7 つに対して 0.8 以上の AUC を達成した。
  論文  参考訳（メタデータ） (2024-03-31T07:38:39Z)
• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
  我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。 我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
  論文  参考訳（メタデータ） (2023-04-13T17:56:08Z)
• Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
  データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。 昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。 本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T20:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。