論文の概要: Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking

• arxiv url: http://arxiv.org/abs/2404.06742v1
• Date: Wed, 10 Apr 2024 05:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 15:29:37.743167
• Title: Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking
• Title（参考訳）: オフライン整合性検査を用いたプローブトレーニングによる転送可能で効率的な非実効的コンテンツ検出
• Authors: Xiaokang Zhang, Zijun Yao, Jing Zhang, Kaifeng Yun, Jifan Yu, Juanzi Li, Jie Tang,
• Abstract要約: PINOSEは、オフラインの自己整合性検査結果に基づいて探索モデルをトレーニングし、人間の注釈付きデータの必要性を回避する。 応答復号に先立って内部状態の様々な側面を調べ、事実的不正確な検出に寄与する。
• 参考スコア（独自算出の注目度）: 48.68044413117397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting non-factual content is a longstanding goal to increase the trustworthiness of large language models (LLMs) generations. Current factuality probes, trained using humanannotated labels, exhibit limited transferability to out-of-distribution content, while online selfconsistency checking imposes extensive computation burden due to the necessity of generating multiple outputs. This paper proposes PINOSE, which trains a probing model on offline self-consistency checking results, thereby circumventing the need for human-annotated data and achieving transferability across diverse data distributions. As the consistency check process is offline, PINOSE reduces the computational burden of generating multiple responses by online consistency verification. Additionally, it examines various aspects of internal states prior to response decoding, contributing to more effective detection of factual inaccuracies. Experiment results on both factuality detection and question answering benchmarks show that PINOSE achieves surpassing results than existing factuality detection methods. Our code and datasets are publicly available on this anonymized repository.
• Abstract（参考訳）: 非現実的コンテンツの検出は、大規模言語モデル(LLM)世代における信頼性を高めるための長年の目標である。 人為的ラベルを用いてトレーニングされた現在の事実調査では,アウト・オブ・ディストリビューションコンテンツへの転送性が制限されている一方,オンライン自己整合性検査では,複数のアウトプットを生成する必要があるため,広範な計算負担が課される。 本稿では、オフラインの自己整合性検査結果に基づいて探索モデルをトレーニングし、人手による注釈付きデータの必要性を回避し、多様なデータ分布間での転送性を実現するPINOSEを提案する。 整合性チェックプロセスはオフラインであるため、PINOSEはオンライン整合性検証によって複数の応答を生成する計算負担を低減する。 さらに、応答復号に先立って内部状態の様々な側面を調べ、事実的不正確な検出に寄与する。 実感検出と質問応答ベンチマークの両方の実験結果から,PINOSEが既存の実感検出法よりも上回っていることが示された。 私たちのコードとデータセットは、この匿名リポジトリで公開されています。

関連論文リスト

• What If the Input is Expanded in OOD Detection? [77.37433624869857]
  Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。 In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。 入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
  論文  参考訳（メタデータ） (2024-10-24T06:47:28Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Automatic Change-Point Detection in Time Series via Deep Learning [8.43086628139493]
  ニューラルネットワークのトレーニングに基づいて,新しいオフライン検出手法を自動生成する方法を示す。 本稿では,そのような手法の誤差率を定量化する理論について述べる。 また,加速度計データに基づく活動変化の検出と位置推定にも強い効果が得られた。
  論文  参考訳（メタデータ） (2022-11-07T20:59:14Z)
• Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data [7.221206118679026]
  既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。 本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。 多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
  論文  参考訳（メタデータ） (2022-07-15T14:39:57Z)
• Adapting to Online Label Shift with Provable Guarantees [137.89382409682233]
  オンラインラベルシフトの問題を定式化し,検討する。 非定常性と監督の欠如は、この問題に取り組むことを困難にしている。 我々のアルゴリズムは最適な動的後悔を享受しており、性能が透かしの性質と競合していることを示している。
  論文  参考訳（メタデータ） (2022-07-05T15:43:14Z)
• Anomaly Detection with Test Time Augmentation and Consistency Evaluation [13.709281244889691]
  本稿では,TTA-AD(Test Time Augmentation Anomaly Detection)と呼ばれる簡易かつ効果的な異常検出アルゴリズムを提案する。 我々は、分散データよりもトレーニングされたネットワーク上でのオリジナルバージョンと拡張バージョンについて、分散データの方が一貫性のある予測を楽しむことを観察した。 様々な高解像度画像ベンチマークデータセットの実験は、TTA-ADが同等またはより良い検出性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-06-06T04:27:06Z)
• Cascade Watchdog: A Multi-tiered Adversarial Guard for Outlier Detection [0.0]
  本稿では,GAN生成データを用いて開発されたマルチ階層型ウォッチドッグを試作し,その特性を実証的に評価し,アウト・オブ・ディストリビューション検出を改良した。 その結果, 極端に低い偽陽性率を維持しつつ, 最も難易度の高いアウト・オブ・ディストリビューション・インプットの検出において, 確固とした, 顕著な改善が得られた。
  論文  参考訳（メタデータ） (2021-08-20T21:12:36Z)
• Leveraging Multi-domain, Heterogeneous Data using Deep Multitask Learning for Hate Speech Detection [21.410160004193916]
  畳み込みニューラルネットワークに基づくマルチタスク学習モデル(MTL)フットノートコードを提案し,複数のソースからの情報を活用する。 3つのベンチマークデータセットで実施した実証分析は,提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-03-23T09:31:01Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。