論文の概要: Still No Lie Detector for Language Models: Probing Empirical and Conceptual Roadblocks

• arxiv url: http://arxiv.org/abs/2307.00175v1
• Date: Fri, 30 Jun 2023 23:44:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 17:31:54.643928
• Title: Still No Lie Detector for Language Models: Probing Empirical and Conceptual Roadblocks
• Title（参考訳）: 言語モデルのためのまだ嘘検出器がない:経験的および概念的ブロックの探索
• Authors: B.A. Levinstein and Daniel A. Herrmann
• Abstract要約: 大型言語モデル(LLM)が信念を持っているかどうか、そしてそれらがそうであるかどうか、どのようにそれらを測定するべきか、という疑問を考察する。 Azaria and Mitchell (2023) と Burns et al. (2022) の2つの既存アプローチを評価した。 我々は, LLM が信念を持っているとしても, 概念上の理由からこれらの手法が成功する可能性は低いと論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the questions of whether or not large language models (LLMs) have beliefs, and, if they do, how we might measure them. First, we evaluate two existing approaches, one due to Azaria and Mitchell (2023) and the other to Burns et al. (2022). We provide empirical results that show that these methods fail to generalize in very basic ways. We then argue that, even if LLMs have beliefs, these methods are unlikely to be successful for conceptual reasons. Thus, there is still no lie-detector for LLMs. After describing our empirical results we take a step back and consider whether or not we should expect LLMs to have something like beliefs in the first place. We consider some recent arguments aiming to show that LLMs cannot have beliefs. We show that these arguments are misguided. We provide a more productive framing of questions surrounding the status of beliefs in LLMs, and highlight the empirical nature of the problem. We conclude by suggesting some concrete paths for future work.
• Abstract（参考訳）: 大型言語モデル(LLM)が信念を持っているかどうか、そしてそれらがそうであるかどうか、どのようにそれらを測定するべきか、という疑問を考察する。 まず, azaria と mitchell (2023) によるアプローチと burns et al. (2022) によるアプローチの評価を行った。 これらの手法が極めて基本的な方法で一般化できないことを示す実験結果を提供する。 そして, LLM が信念を持っているとしても, 概念的理由からこれらの手法が成功する可能性は低いと論じる。 したがって、LLMに対する嘘検出はいまだに存在しない。 経験的な結果について説明した後、一歩後退して、LLMがそもそも信念のようなものを持つべきかどうかを検討します。 LLMが信念を持てないことを示すための最近の議論について考察する。 これらの議論は誤解されている。 我々は, LLMにおける信念の状況に関する質問のより生産的な枠組みを提供し, 問題の実証的な性質を強調する。 我々は、将来の仕事のための具体的な道を提案することで締めくくります。

関連論文リスト

• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• On the attribution of confidence to large language models [0.1478468781294373]
  クレデンスは命題の信頼度に対応する精神状態である。 信条の帰属に関する理論的根拠は不明である。 LLMがクリーデンスを持つとしても、クレデンス属性は一般的に偽である可能性は明らかである。
  論文  参考訳（メタデータ） (2024-07-11T10:51:06Z)
• Does ChatGPT Have a Mind? [0.0]
  本稿では,ChatGPT のような大規模言語モデル (LLM) が,信念,願望,意図を包含する真の民間心理学を持っているか否かに着目し,心を持っているかどうかを検討する。 まず, 情報, 因果, 構造, テレオセマンティックな説明を含む様々な哲学的表現理論を調査し, LLMがそれぞれの提案する重要な条件を満たすことを論じる。 第2に, LLM が行動に頑健な態度を示すか否かを考察する。
  論文  参考訳（メタデータ） (2024-06-27T00:21:16Z)
• Dissecting the Ullman Variations with a SCALPEL: Why do LLMs fail at Trivial Alterations to the False Belief Task? [1.4936946857731093]
  本稿では,False Beliefタスクのターゲット変更を生成するSCALPELを紹介する。 明示的な共通推論を施した修正はLLMの性能を保っていることがわかった。 これは、修正されたToMタスクにおけるLLMの失敗が、より一般的な常識的推論の欠如に起因することを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T21:02:30Z)
• A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation [72.93327642336078]
  本稿では,幻覚検出のための確率的フレームワークであるBelief Tree Propagation (BTProp)を提案する。 BTPropは、親ステートメントを子ステートメントに分解することで、論理的に関連するステートメントの信念ツリーを導入する。 複数の幻覚検出ベンチマークにおいて,AUROCとAUC-PRにより評価された基準線を3%-9%改善する。
  論文  参考訳（メタデータ） (2024-06-11T05:21:37Z)
• A Comprehensive Evaluation on Event Reasoning of Large Language Models [68.28851233753856]
  LLMが、様々な関係や推論パラダイムに基づいたイベント推論をいかにうまく達成するかは、いまだに不明である。 本稿ではEVent推論のEValuationのための新しいベンチマークEV2を紹介する。 LLMにはイベント推論を実現する能力があるが、その性能は十分ではない。
  論文  参考訳（メタデータ） (2024-04-26T16:28:34Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Deceptive Semantic Shortcuts on Reasoning Chains: How Far Can Models Go without Hallucination? [73.454943870226]
  本研究はセマンティックアソシエーションによって誘発される特定の種類の幻覚の研究である。 この現象を定量化するために,EureQAと呼ばれる新しい探索手法とベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-11-16T09:27:36Z)
• Position: Key Claims in LLM Research Have a Long Tail of Footnotes [81.14898541318198]
  我々は、Large Language Models(LLMs)の動作定義を持っていないと論じる。 それらの特性に関する5つの共通主張を批判的に検討する。 今後の研究の方向性とフレーミングについて提案する。
  論文  参考訳（メタデータ） (2023-08-14T13:00:53Z)
• Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via Debate [19.887103433032774]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。 この研究は、LLMの推論を議論のような会話で議論することで検証する。 優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
  論文  参考訳（メタデータ） (2023-05-22T15:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。