論文の概要: Saying More Than They Know: A Framework for Quantifying Epistemic-Rhetorical Miscalibration in Large Language Models
- arxiv url: http://arxiv.org/abs/2604.19768v1
- Date: Fri, 27 Mar 2026 05:33:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 02:32:14.060544
- Title: Saying More Than They Know: A Framework for Quantifying Epistemic-Rhetorical Miscalibration in Large Language Models
- Title（参考訳）: 知る以上のことを言う:大規模言語モデルにおける疫学・修辞的ミススキャリブレーションの定量化フレームワーク
- Authors: Asim D. Bakhshi,
- Abstract要約: 大規模言語モデル (LLMs) は、階層的基盤に比例しない修辞的強度で体系的な誤校正を示す。
本研究は,3adic epistemic-rhetorical marker (ERM) の分類を設計することにより,このデカップリングを定量化する枠組みを提案する。
約0.6万のトークンにまたがる225の議論的テキストに適用され、人間の専門家、人間の非専門家、LLM生成サブコーパスに適用される。
- 参考スコア（独自算出の注目度）: 0.30458514384586394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) exhibit systematic miscalibration with rhetorical intensity not proportionate to epistemic grounding. This study tests this hypothesis and proposes a framework for quantifying this decoupling by designing a triadic epistemic-rhetorical marker (ERM) taxonomy. The taxonomy is operationalized through composite metrics of form-meaning divergence (FMD), genuine-to-performed epistemic ratio (GPR), and rhetorical device distribution entropy (RDDE). Applied to 225 argumentative texts spanning approximately 0.6 Million tokens across human expert, human non-expert, and LLM-generated sub-corpora, the framework identifies a consistent, model-agnostic LLM epistemic signature. LLM-generated texts produce tricolon at nearly twice the expert rate ($Δ= 0.95$), while human authors produce erotema at more than twice the LLM rate. Performed hesitancy markers appear at twice the human density in LLM output. FMD is significantly elevated in LLM texts relative to both human groups ($p < 0.001, Δ= 0.68$), and rhetorical devices are distributed significantly more uniformly across LLM documents. The findings are consistent with theoretical intuitions derived from Gricean pragmatics, Relevance Theory, and Brandomian inferentialism. The annotation pipeline is fully automatable, making it deployable as a lightweight screening tool for epistemic miscalibration in AI-generated content and as a theoretically motivated feature set for LLM-generated text detection pipelines.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は、階層的基盤に比例しない修辞的強度で体系的な誤校正を示す。
本研究は, この仮説を検証し, 三段階疫学・修辞学的マーカー(ERM)の分類を設計することにより, このデカップリングを定量化する枠組みを提案する。
The taxonomy is operation through Composite metrics of form-purpose divergence (FMD)、real-to-performed epistemic ratio (GPR)、rhetorical device distribution entropy (RDDE)。
ヒトの専門家、ヒトの非専門家、LLM生成サブコーパスにまたがる約0.6万トークンにまたがる225の議論的テキストに適用すると、このフレームワークは、一貫性のあるモデルに依存しないLLMエピステミックシグネチャを識別する。
LLMが生成したテキストは、専門家レート(Δ= 0.95$)の約2倍のトリコロンを生成する一方、人間の著者は、LSMレートの2倍以上のエロテマを生成する。
LLMの出力の2倍の人密度で、高性能なヘシタシーマーカーが現れる。
FMDは、両方の人間グループ(p < 0.001, Δ= 0.68$)に対してLLMテキストにおいて著しく高められ、レトリック装置はLLM文書間でより均一に分散される。
この発見は、グリシアン・プラグマティクス、関連理論、ブラントミアン推論から導かれた理論的な直観と一致している。
アノテーションパイプラインは完全に自動化可能で、AI生成したコンテンツの疫学的誤校正のための軽量なスクリーニングツールとして、LLM生成したテキスト検出パイプラインの理論的動機付け機能セットとしてデプロイできる。
関連論文リスト
- Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction [6.53191669778827]
本研究では,腫瘍リンパ節転移(TNM)のステージング,組織学的グレード,バイオマーカーの抽出を自動化するためのパラメータ効率,マルチタスクフレームワークを提案する。
Llama-3-8B-Instruct encoderをLoRA(Lo-Rank Adaptation)を用いて10,677のレポートをキュレートして検証した。
論文 参考訳（メタデータ） (2026-04-14T22:26:30Z) - Semantic Delta: An Interpretable Signal Differentiating Human and LLMs Dialogue [3.9431873099460826]
意味圏分布から導出した軽量な計量法を提案する。
セマンティックデルタを対話における2つの最も支配的なカテゴリ強度の差として定義する。
結果は、AI生成したテキストが人間のテキストよりも高いデルタを生成することを示す。
論文 参考訳（メタデータ） (2026-03-20T11:01:47Z) - Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study [0.0]
大規模言語モデル(LLM)は、文脈の不整合幻覚を生成する。
本研究は,ゼロショットの科学的要約タスクにおいて,迅速な工学手法が文脈の不整合を軽減することができるかどうかを考察する。
論文 参考訳（メタデータ） (2025-11-30T15:19:41Z) - Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。
我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。
正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
論文 参考訳（メタデータ） (2025-10-23T20:22:22Z) - How Do LLM-Generated Texts Impact Term-Based Retrieval Models? [76.92519309816008]
本稿では,大規模言語モデル(LLM)が項ベース検索モデルに与える影響について検討する。
言語学的解析により,LLM生成テキストはよりスムーズで低周波なZipf勾配を示すことが明らかとなった。
本研究は,項分布がクエリと密接に一致した文書を優先して,項ベース検索モデルがソースバイアスを示すかどうかを考察する。
論文 参考訳（メタデータ） (2025-08-25T06:43:27Z) - "I know myself better, but not really greatly": How Well Can LLMs Detect and Explain LLM-Generated Texts? [10.454446545249096]
本稿では,2進(人間対LLM生成)と3進分類(未決定クラスを含む)の2つの設定において,現在のLLMの検出と説明能力について検討する。
異なる大きさの6つのオープンソースLCMを評価し、自己検出(LLM)が相互検出(他のLCMからの出力の同定)を一貫して上回っていることを発見した。
本研究は, 自己検出・自己説明における現在のLCMの限界を浮き彫りにして, 過度に適合し, 一般化性を高めるためのさらなる研究の必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2025-02-18T11:00:28Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳（メタデータ） (2024-12-29T06:32:36Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性を説明するための理論を提供する。
提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-03T02:56:14Z) - Zero-shot Causal Graph Extrapolation from Text via LLMs [50.596179963913045]
我々は,自然言語から因果関係を推定する大規模言語モデル (LLM) の能力を評価する。
LLMは、(特別な)トレーニングサンプルを必要とせずにペア関係のベンチマークで競合性能を示す。
我々は、反復的なペアワイズクエリを通して因果グラフを外挿するアプローチを拡張した。
論文 参考訳（メタデータ） (2023-12-22T13:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。