論文の概要: MIH-TCCT: Mitigating Inconsistent Hallucinations in LLMs via Event-Driven Text-Code Cyclic Training

• arxiv url: http://arxiv.org/abs/2502.08904v2
• Date: Wed, 19 Feb 2025 08:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:04.013389
• Title: MIH-TCCT: Mitigating Inconsistent Hallucinations in LLMs via Event-Driven Text-Code Cyclic Training
• Title（参考訳）: MIH-TCCT:イベント駆動型テキストコードサイクルトレーニングによるLCMの不整合幻覚の軽減
• Authors: Xinxin You, Xien Liu, Qixin Sun, Huan Zhang, Kaiyin Zhou, Shaohui Liu, GuoPing Hu, ShiJin Wang, Si Liu, Ji Wu,
• Abstract要約: 本稿では、イベントベースのテキストを利用して対応するコードを生成する新しいフレームワークを提案し、循環学習を用いてコードの論理的一貫性を自然言語に効果的に伝達する。 提案手法は,3つの主要な大規模言語モデル(LLM)と2つの自然言語タスクのカテゴリにおいて,矛盾する幻覚を著しく低減する。
• 参考スコア（独自算出の注目度）: 29.580019403815154
• License:
• Abstract: Recent methodologies utilizing synthetic datasets have aimed to address inconsistent hallucinations in large language models (LLMs); however,these approaches are primarily tailored to specific tasks, limiting their generalizability. Inspired by the strong performance of code-trained models in logic-intensive domains, we propose a novel framework that leverages event-based text to generate corresponding code and employs cyclic training to transfer the logical consistency of code to natural language effectively. Our method significantly reduces inconsistent hallucinations across three leading LLMs and two categories of natural language tasks while maintaining overall performance. This framework effectively alleviates hallucinations without necessitating adaptation to downstream tasks, demonstrating generality and providing new perspectives to tackle the challenge of inconsistent hallucinations.
• Abstract（参考訳）: 合成データセットを用いた最近の手法は、大規模言語モデル(LLM)における矛盾した幻覚に対処することを目的としているが、これらのアプローチは主に特定のタスクに適応し、一般化性を制限する。 論理集約型ドメインにおけるコード学習モデルの強みに着想を得て,イベントベースのテキストを利用して対応するコードを生成する新しいフレームワークを提案する。 提案手法は,3つのLLMと2つの自然言語タスクのカテゴリーにおいて,全体的な性能を維持しながら,矛盾する幻覚を著しく低減する。 この枠組みは、下流のタスクへの適応を必要とせずに幻覚を効果的に軽減し、一般化を示し、矛盾する幻覚に挑戦するための新しい視点を提供する。

関連論文リスト

• Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models [0.0]
  LLM(Large Language Models)は、人間の可読テキストの広範なコーパスに基づいて訓練された強力な計算モデルであり、汎用的な言語理解と生成を可能にする。 これらの成功にもかかわらず、LLMは幻覚と呼ばれる不正確さをしばしば生み出す。 本稿では,LLMにおける幻覚の低減を目的とした,異なるプロンプト戦略とフレームワークの実証評価を行う。
  論文  参考訳（メタデータ） (2024-10-25T08:34:53Z)
• Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
  幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL) 本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T00:15:40Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• Fact :Teaching MLLMs with Faithful, Concise and Transferable Rationales [102.54274021830207]
  MLLMの教えに忠実で簡潔で伝達しやすい多モーダル論理を生成するために設計された新しいパラダイムであるFactを紹介する。 プログラミングパラダイムからエンドツーエンドパラダイムに転送可能な合理性をフィルタリングして、転送可能性を保証する。 また,画像とテキストの相関性が高いため,幻覚の低減も図っている。
  論文  参考訳（メタデータ） (2024-04-17T07:20:56Z)
• MALTO at SemEval-2024 Task 6: Leveraging Synthetic Data for LLM Hallucination Detection [3.049887057143419]
  自然言語生成(NLG)では、現代のLarge Language Models(LLM)がいくつかの課題に直面している。 これはしばしば「幻覚」を示すニューラルネットワークにつながる SHROOMチャレンジは、生成されたテキストでこれらの幻覚を自動的に識別することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-01T20:31:10Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Teaching Language Models to Hallucinate Less with Synthetic Tasks [47.87453655902263]
  大きな言語モデル(LLM)は抽象的な要約タスクにしばしば幻覚を与える。 合成タスクにおける幻覚の低減は、現実世界の下流タスクにおける幻覚の低減にも寄与することを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:57:00Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。