論文の概要: Representations Matter: Embedding Modes of Large Language Models using Dynamic Mode Decomposition

• arxiv url: http://arxiv.org/abs/2309.01245v1
• Date: Sun, 3 Sep 2023 19:10:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 20:43:07.790937
• Title: Representations Matter: Embedding Modes of Large Language Models using Dynamic Mode Decomposition
• Title（参考訳）: 表現課題:動的モード分解を用いた大規模言語モデルの埋め込みモード
• Authors: Mohamed Akrout
• Abstract要約: 文を段落上に埋め込むスペクトルが、生成したテキストに対して常に低ランクであることを示す。 その結果,幻覚を呈する評価症例は,地中埋没パターンと一致していることがわかった。 このことは、幻覚は生成技術と基礎となる表現の両方から生じることを示唆している。
• 参考スコア（独自算出の注目度）: 4.314956204483074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing large language models (LLMs) are known for generating "hallucinated" content, namely a fabricated text of plausibly looking, yet unfounded, facts. To identify when these hallucination scenarios occur, we examine the properties of the generated text in the embedding space. Specifically, we draw inspiration from the dynamic mode decomposition (DMD) tool in analyzing the pattern evolution of text embeddings across sentences. We empirically demonstrate how the spectrum of sentence embeddings over paragraphs is constantly low-rank for the generated text, unlike that of the ground-truth text. Importantly, we find that evaluation cases having LLM hallucinations correspond to ground-truth embedding patterns with a higher number of modes being poorly approximated by the few modes associated with LLM embedding patterns. In analogy to near-field electromagnetic evanescent waves, the embedding DMD eigenmodes of the generated text with hallucinations vanishes quickly across sentences as opposed to those of the ground-truth text. This suggests that the hallucinations result from both the generation techniques and the underlying representation.
• Abstract（参考訳）: 既存の大規模言語モデル (LLMs) は「ハロゲン化」されたコンテンツを生成することで知られている。 これらの幻覚シナリオがいつ発生したかを特定するため、埋め込み空間で生成されたテキストの特性を調べる。 具体的には,動的モード分解(dmd)ツールから着想を得て,文間のテキスト埋め込みのパターン進化を分析する。 段落に埋め込まれた文のスペクトルが、基幹本文とは異なり、生成したテキストに対して常に低ランクであることを示す。 重要なこととして, LLM の幻覚を有する評価ケースは, LLM の埋め込みパターンに付随する少数のモードにより, より多くのモードが近似されにくい接地真実の埋め込みパターンに対応していることがわかった。 近場電磁エバネッセント波の例えると、幻覚を伴う生成されたテキストのdmd固有モードは、地対面テキストとは対照的に、文章全体で急速に消失する。 これは幻覚が生成技術と基礎的な表現の両方から生じることを示唆している。

関連論文リスト

• Analysis of Plan-based Retrieval for Grounded Text Generation [78.89478272104739]
  幻覚は、言語モデルがそのパラメトリック知識の外で生成タスクが与えられるときに起こる。 この制限に対処するための一般的な戦略は、言語モデルに検索メカニズムを注入することである。 我々は,幻覚の頻度をさらに減少させるために,探索のガイドとして計画をどのように利用できるかを分析する。
  論文  参考訳（メタデータ） (2024-08-20T02:19:35Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [40.930238150365795]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models [0.0]
  本稿では,幻覚に対するLarge Language Models (LLM) の振る舞いを深く掘り下げる。 異なる種類の幻覚を識別するためのトークンレベルのアプローチを定義し、さらにトークンレベルのタグ付けを活用してLLMの解釈可能性と忠実性を改善する。
  論文  参考訳（メタデータ） (2023-12-22T00:31:46Z)
• Hallucination Augmented Contrastive Learning for Multimodal Large Language Model [53.65682783591723]
  マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。 しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。 本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
  論文  参考訳（メタデータ） (2023-12-12T04:05:15Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
  テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。 我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。 実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
  論文  参考訳（メタデータ） (2023-09-28T18:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。