論文の概要: Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.15116v1
• Date: Sat, 19 Oct 2024 13:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:28.777521
• Title: Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models
• Title（参考訳）: 粗視ハイライト:大規模言語モデルにおける知識幻覚の低減
• Authors: Qitan Lv, Jie Wang, Hanzhu Chen, Bin Li, Yongdong Zhang, Feng Wu,
• Abstract要約: COFTは、異なるレベルのキーテキストにフォーカスする新しい方法であり、長いコンテキストで失われることを避ける。 知識幻覚ベンチマークの実験ではCOFTの有効性が示され、F1スコアの30%以上の性能が向上した。
• 参考スコア（独自算出の注目度）: 58.952782707682815
• License:
• Abstract: Generation of plausible but incorrect factual information, often termed hallucination, has attracted significant research interest. Retrieval-augmented language model (RALM) -- which enhances models with up-to-date knowledge -- emerges as a promising method to reduce hallucination. However, existing RALMs may instead exacerbate hallucination when retrieving lengthy contexts. To address this challenge, we propose COFT, a novel \textbf{CO}arse-to-\textbf{F}ine highligh\textbf{T}ing method to focus on different granularity-level key texts, thereby avoiding getting lost in lengthy contexts. Specifically, COFT consists of three components: \textit{recaller}, \textit{scorer}, and \textit{selector}. First, \textit{recaller} applies a knowledge graph to extract potential key entities in a given context. Second, \textit{scorer} measures the importance of each entity by calculating its contextual weight. Finally, \textit{selector} selects high contextual weight entities with a dynamic threshold algorithm and highlights the corresponding paragraphs, sentences, or words in a coarse-to-fine manner. Extensive experiments on the knowledge hallucination benchmark demonstrate the effectiveness of COFT, leading to a superior performance over $30\%$ in the F1 score metric. Moreover, COFT also exhibits remarkable versatility across various long-form tasks, such as reading comprehension and question answering.
• Abstract（参考訳）: 幻覚と呼ばれる、もっともらしいが誤った事実情報の生成は、かなりの研究関心を集めている。 Retrieval-augmented Language Model (RALM)は、幻覚を減らすための有望な方法として登場した。 しかし、既存のRALMsは、長い文脈を検索する際に幻覚を悪化させる可能性がある。 この課題に対処するために、COFTという、異なる粒度レベルのキーテキストに焦点を合わせ、長いコンテキストで失われることを避けるための、新しい \textbf{CO}arse-to-\textbf{F}ine highligh\textbf{T}ing法を提案する。 具体的には、COFTは3つのコンポーネントからなる: \textit{recaller}, \textit{scorer}, \textit{selector}。 まず、 \textit{recaller} は、与えられたコンテキスト内の潜在的キーエンティティを抽出するために知識グラフを適用します。 次に、textit{scorer} はそのコンテキスト重みを計算することで各エンティティの重要性を測定する。 最後に、‘textit{selector} は動的しきい値アルゴリズムを用いて高文脈重みエンティティを選択し、粗い方法で対応する段落、文、単語をハイライトする。 知識幻覚ベンチマークの大規模な実験では、COFTの有効性が示され、F1スコアの30\%以上の性能が向上した。 さらに、COFTは、読解や質問応答など、様々な長期的タスクにおいて、顕著な汎用性を示す。

関連論文リスト

• Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling [22.107187408777726]
  オープンな回答を持つテキスト生成のための幻覚検出はより困難である。 外部資源のない長いテキストにおける幻覚の検出に関する最近の研究は、一貫性の比較を行っている。 テキスト生成のためのグラフベースの文脈認識(GCA)幻覚検出を提案する。
  論文  参考訳（メタデータ） (2024-09-17T15:38:36Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Revisiting the Roles of "Text" in Text Games [102.22750109468652]
  本稿では,強化学習におけるテキストの役割について検討する。 本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。 このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T21:52:39Z)
• Enhance Long Text Understanding via Distilled Gist Detector from Abstractive Summarization [7.851265919027389]
  我々は、長文理解において、ジスト関連かつ無関係な情報を解き放つ方法の問題点を考察する。 文書分類, 遠隔教師付きオープンドメイン質問応答 (DS-QA) および非並列テキストスタイルの転送実験により, 本手法がベースラインモデルの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2021-10-10T09:21:24Z)
• On (Emergent) Systematic Generalisation and Compositionality in Visual Referential Games with Straight-Through Gumbel-Softmax Estimator [0.30458514384586394]
  2人(またはそれ以上)のエージェントが非視覚的な参照ゲームを行うと、構成性のドライバが現れる。 本稿では,ST-GSの文脈において,これまでフィールドで認識されてきた構成性の要因がどの程度適用されているかを検討する。 st-gsアプローチを小さなバッチサイズとオーバーコンプリート通信チャネルで使用することで、新興言語のコンポジション性が向上する。
  論文  参考訳（メタデータ） (2020-12-19T20:40:09Z)
• Interactive Fiction Game Playing as Multi-Paragraph Reading Comprehension with Reinforcement Learning [94.50608198582636]
  対話型フィクション(IF)ゲームと実際の自然言語テキストは、言語理解技術に対する新たな自然な評価を提供する。 IFゲーム解決の新たな視点を捉え,MPRC(Multi-Passage Reading)タスクとして再フォーマットする。
  論文  参考訳（メタデータ） (2020-10-05T23:09:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。