論文の概要: Do Androids Know They're Only Dreaming of Electric Sheep?
- arxiv url: http://arxiv.org/abs/2312.17249v1
- Date: Thu, 28 Dec 2023 18:59:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 14:35:43.257121
- Title: Do Androids Know They're Only Dreaming of Electric Sheep?
- Title(参考訳): アンドロイドはただの電気羊の夢だと知ってますか?
- Authors: Sky CH-Wang, Benjamin Van Durme, Jason Eisner, Chris Kedzie
- Abstract要約: いくつかのタスクで有機および合成幻覚のスパンアノテートデータセットを作成します。
合成幻覚の強制復号化状態で訓練されたプローブは、一般に有機幻覚検出において生態的に無効であることがわかった。
- 参考スコア(独自算出の注目度): 49.72015518385204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We design probes trained on the internal representations of a transformer
language model that are predictive of its hallucinatory behavior on in-context
generation tasks. To facilitate this detection, we create a span-annotated
dataset of organic and synthetic hallucinations over several tasks. We find
that probes trained on the force-decoded states of synthetic hallucinations are
generally ecologically invalid in organic hallucination detection. Furthermore,
hidden state information about hallucination appears to be task and
distribution-dependent. Intrinsic and extrinsic hallucination saliency varies
across layers, hidden state types, and tasks; notably, extrinsic hallucinations
tend to be more salient in a transformer's internal representations.
Outperforming multiple contemporary baselines, we show that probing is a
feasible and efficient alternative to language model hallucination evaluation
when model states are available.
- Abstract(参考訳): 我々は,インコンテキスト生成タスクにおける幻覚行動を予測するトランスフォーマー言語モデルの内部表現を学習したプローブを設計した。
この検出を容易にするために、複数のタスクにまたがる有機および合成幻覚のスパンアノテートデータセットを作成する。
有機幻覚検出において,合成幻覚の強制復号状態に基づくプローブは一般的に生態学的に無効であることがわかった。
さらに、幻覚に関する隠れた状態情報は、タスクと配布に依存します。
内在的および外在的な幻覚は、階層、隠れた状態タイプ、タスクによって異なり、特に、外在的幻覚はトランスフォーマーの内部表現においてより顕著である傾向がある。
複数の現代ベースラインを達成し、モデル状態が利用できる場合の言語モデル幻覚評価に対して、探索は実現可能かつ効率的な代替手段であることを示す。
関連論文リスト
- Fine-grained Hallucination Detection and Editing for Language Models [114.28828114834657]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳(メタデータ) (2024-01-12T19:02:48Z) - Hallucinations in Neural Automatic Speech Recognition: Identifying
Errors and Hallucinatory Models [11.492702369437785]
幻覚は、ソースの発声とは意味的に無関係であるが、それでも流動的でコヒーレントである。
単語誤り率などの一般的なメトリクスは、幻覚モデルと非幻覚モデルとを区別できないことを示す。
本研究は,幻覚を識別する枠組みを考案し,その意味的関係と基礎的真理と流布との関係を解析する。
論文 参考訳(メタデータ) (2024-01-03T06:56:56Z) - On Early Detection of Hallucinations in Factual Question Answering [5.353798542990414]
幻覚は依然として ユーザーの信頼を得るための大きな障害です
モデル生成に関連するアーティファクトが、世代が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。
モデル生成を幻覚と非幻覚に分類するために、これらのアーティファクトを入力機能として使用するバイナリ分類器を訓練する。
論文 参考訳(メタデータ) (2023-12-19T14:35:04Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction
Data [106.42508109138788]
機械生成データに固有の幻覚は未発見である。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - Plausible May Not Be Faithful: Probing Object Hallucination in
Vision-Language Pre-training [66.0036211069513]
大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。
標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。
驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
論文 参考訳(メタデータ) (2022-10-14T10:27:22Z) - Probing Causes of Hallucinations in Neural Machine Translations [51.418245676894465]
本稿では,モデルアーキテクチャの観点から幻覚の原因を探索する手法を提案する。
幻覚には、しばしば欠陥のあるエンコーダ、特に埋め込み、脆弱なクロスアテンションが伴う。
論文 参考訳(メタデータ) (2022-06-25T01:57:22Z) - Inspecting the Factuality of Hallucinated Entities in Abstractive
Summarization [36.052622624166894]
State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。
本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
論文 参考訳(メタデータ) (2021-08-30T15:40:52Z) - On Hallucination and Predictive Uncertainty in Conditional Language
Generation [76.18783678114325]
高い予測の不確実性は幻覚の確率が高い。
認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。
提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
論文 参考訳(メタデータ) (2021-03-28T00:32:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。