論文の概要: Standards for Belief Representations in LLMs

• arxiv url: http://arxiv.org/abs/2405.21030v1
• Date: Fri, 31 May 2024 17:21:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 13:19:30.834460
• Title: Standards for Belief Representations in LLMs
• Title（参考訳）: LLMにおける信念表現の基準
• Authors: Daniel A. Herrmann, Benjamin A. Levinstein,
• Abstract要約: 我々は、信念のように数えられるように記入する表現の妥当性を論じる。 理論的考察と実践的制約のバランスをとるための4つの基準を確立する。 提案する基準は,精度,コヒーレンス,均一性,使用性である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) continue to demonstrate remarkable abilities across various domains, computer scientists are developing methods to understand their cognitive processes, particularly concerning how (and if) LLMs internally represent their beliefs about the world. However, this field currently lacks a unified theoretical foundation to underpin the study of belief in LLMs. This article begins filling this gap by proposing adequacy conditions for a representation in an LLM to count as belief-like. We argue that, while the project of belief measurement in LLMs shares striking features with belief measurement as carried out in decision theory and formal epistemology, it also differs in ways that should change how we measure belief. Thus, drawing from insights in philosophy and contemporary practices of machine learning, we establish four criteria that balance theoretical considerations with practical constraints. Our proposed criteria include accuracy, coherence, uniformity, and use, which together help lay the groundwork for a comprehensive understanding of belief representation in LLMs. We draw on empirical work showing the limitations of using various criteria in isolation to identify belief representations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で顕著な能力を示し続けているため、コンピュータ科学者は認知過程を理解する方法を開発している。 しかし、この分野は、LLMの信念研究の基盤となる統一的な理論基盤を欠いている。 この記事では、LLMにおける表現が信念的とみなすための適切な条件を提案することによって、このギャップを埋める。 我々は, LLMにおける信念測定プロジェクトは, 意思決定理論や形式的認識論において実施される信念測定と顕著な特徴を共有している一方で, 信念測定の方法を変える方法も異なることを論じている。 そこで,機械学習の哲学と現代的実践の洞察から,理論的考察と実践的制約のバランスをとるための4つの基準を確立する。 提案する基準は, 精度, 一貫性, 統一性, 使用性などを含み, LLMにおける信念表現の包括的理解の基盤となる。 我々は、信念の表現を識別するために、様々な基準を孤立的に使用することの限界を示す実証的研究を描いている。

関連論文リスト

• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• On the attribution of confidence to large language models [0.1478468781294373]
  クレデンスは命題の信頼度に対応する精神状態である。 信条の帰属に関する理論的根拠は不明である。 LLMがクリーデンスを持つとしても、クレデンス属性は一般的に偽である可能性は明らかである。
  論文  参考訳（メタデータ） (2024-07-11T10:51:06Z)
• Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models [51.91448005607405]
  ToMi と FANToM に文字認識を付加することにより,ヒト ToM 前駆体の評価を行った。 本稿では,LLMの強い知覚推定能力を利用した新しいToM手法であるPercepToMについて述べる。
  論文  参考訳（メタデータ） (2024-07-08T14:58:29Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Measurement in the Age of LLMs: An Application to Ideological Scaling [1.9413548770753526]
  本稿では,大規模言語モデル(LLM)を用いて,社会科学的測定タスクに固有の概念的乱雑を探索する。 我々は、議員とテキストの両方のイデオロギー的尺度を引き出すために、LLMの顕著な言語的流布に依存している。
  論文  参考訳（メタデータ） (2023-12-14T18:34:06Z)
• A Principled Framework for Knowledge-enhanced Large Language Model [58.1536118111993]
  大規模言語モデル(LLM)は汎用性があるが、深い信頼性のある推論を必要とするタスクに悩まされることが多い。 本稿では、知識を効果的に固定し、閉ループ推論プロセスを用いるLLMを作成するための厳密な設計のフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-18T18:10:02Z)
• Towards Concept-Aware Large Language Models [56.48016300758356]
  概念は、学習、推論、コミュニケーションなど、様々な人間の認知機能において重要な役割を果たす。 概念を形作り、推論する能力を持つ機械を授けることは、ほとんどない。 本研究では,現代における大規模言語モデル(LLM)が,人間の概念とその構造をどのように捉えているかを分析する。
  論文  参考訳（メタデータ） (2023-11-03T12:19:22Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。