論文の概要: Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript

• arxiv url: http://arxiv.org/abs/2608.26167v1
• Date: Thu, 16 Jul 2026 17:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.376379
• Title: Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript
• Title（参考訳）: 拒絶はロバスト性ではない:多言語モデルにおける信頼性の検証
• Abstract要約: 幻覚と禁忌のベンチマークは、モデルが正しい答えを知らなかったことをほとんど証明しない。 TAME Pain 音声コーパスでは,7つの大きな言語モデルが評価された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination and abstention benchmarks rarely establish that a model could not have known the correct answer, making it difficult to distinguish appropriate abstention from an unsupported prediction. Seven large language models were evaluated on the TAME Pain speech corpus. Participants read phonetically balanced Harvard Sentences while one hand was immersed in cold or warm water and reported pain only during periodic pain statements. This protocol generated 5,750 no signal Harvard Sentence utterances whose transcripts contained no lexical pain information and 1,294 signal pain statement utterances in which the pain rating was explicitly spoken. In the no signal arm, pain was recoverable from acoustic features (AUC 0.622, 95% CI 0.553 to 0.662), whereas transcript based prediction was near chance (AUC 0.489, 95% CI 0.418 to 0.504). Because automatic speech recognition removes the acoustic pain cues, any pain score inferred solely from the transcript is unsupported by the available evidence. Under cooperative prompting, six models abstained on nearly all no signal transcripts, correctly extracted spoken pain ratings in the positive control task with accuracies ranging from 0.939 to 1.00, and maintained an expected calibration error of at most 0.100. Under authority framed prompts, abstention became prompt dependent, with the same model ranging from 0.18 to 1.00 across equivalent prompt phrasings. Most models produced low confidence estimates when forced to answer, whereas Gemini 2.5 Flash and Llama 3.1 8B consistently generated confident pain scores with confident fabrication rates of 0.53 and 0.76, compared with at most 0.15 for all other models. No significant demographic effects were observed in forced responses, with all $p$ values greater than or equal to 0.20.
• Abstract（参考訳）: 幻覚と禁忌のベンチマークは、モデルが正しい答えを知っていられないことを滅多に証明しておらず、適切な禁忌を支持できない予測と区別することは困難である。 TAME Pain 音声コーパスでは,7つの大きな言語モデルが評価された。 参加者はハーヴァード・センテンス(Harvard Sentences)を読み、片手は冷たい水や暖かい水に浸かって、定期的に痛みを訴えた。 このプロトコルは、5,750文字のハーバード・センテンス発声を発生させておらず、その文字には語彙的な痛み情報や1,294信号の痛み文発声が含まれていなかった。 ノーシグナルアームでは、アコースティックな特徴(AUC 0.622, 95% CI 0.553 - 0.662)から痛みが回復する一方、転写による予測(AUC 0.489, 95% CI 0.418 - 0.504)が近かった。 自動音声認識は音響的痛みの手がかりを除去するので、利用可能な証拠によって、転写物からのみ推測される痛みスコアは得られない。 協調的プロンプトでは、6つのモデルがほぼすべての信号書き起こしを棄却し、0.939から1.00の精度で正の制御タスクで音声の痛み評価を正しく抽出し、期待校正誤差を0.100まで維持した。 権威の枠付きプロンプトの下では、棄権は即時依存となり、同じモデルは等価なプロンプトのフレーズで0.18から1.00の範囲に及んだ。 ほとんどのモデルは答えを強制すると信頼性が低く、ジェミニ2.5のFlashとラマ3.1の8Bは信頼性の高い製造率0.53と0.76で、他の全てのモデルでは0.15であった。 強制反応では有意な人口変動は見られず、全ての$p$値は0.20以上である。

関連論文リスト

• Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models [0.33054385258808067]
  我々は5つのダイアドコーパスから9,728エピソードのベンチマークであるTACTを紹介する。 各エピソードは、対話履歴、話者ごとのメモリプロファイル、およびアノテーションから派生した6つの意図クラスを含む。 TACTは、Spearman 0.81の人間による判断と、バイナリメトリクスの0.46と一致している。
  論文  参考訳（メタデータ） (2026-09-23T05:21:10Z)
• An Analysis of Training-Free Self-Reported Confidence in Language Models [13.820419805749436]
  我々は,回答で言語化された信頼度,ポストホックな$P(mathrmTrue)$,同じ100のTriviaQA質問でさらに3世代と合意する,3つのトレーニング自由信号を分析した。 1つのモデルから9つのエラーのうち4つと、もう1つのモデルから8つのエラーが一致したサンプルサポートを受けており、自己一貫性が共有された誤解を増幅できることを示している。
  論文  参考訳（メタデータ） (2026-09-17T15:10:28Z)
• LeCor: Learning to Be Corrected by Meta-Learned Test-Time Training for Interactive 3D Lung-Tumour Segmentation [45.86925813888675]
  肺腫瘍におけるSAM 3の微調整は、0.298から0.757までの1点のプロンプトから得られるDiceを上昇させ、7ラウンドの補正によりさらに0.765まで上昇させる。 ケース毎にリセットされたケースアダプタの小さなセットでテスト時間トレーニングを行うLeCorを提案する。 LeCor は 7 回の補正ラウンドを 0.787 から 0.827 に引き上げ、0.80 を 47 から 27 に到達しないケースの数を 47 から 27 に減らし、3 回の補正ラウンドで細調整モデルが 7 で到達した精度を下げる。
  論文  参考訳（メタデータ） (2026-09-08T21:49:56Z)
• The Diagnosis a Reporter Leaves Unspoken: Surfacing Frozen Tumor Features for Brain-Tumor MRI Reporting [0.9283653948385912]
  有能な脳MRIレポートジェネレータは診断的に静かである。 NeuroFusionはそれをオーバーライドするのではなく、この潜伏シグナルを表面化する。 ボード認証された2人の神経学者は、それぞれの腫瘍タイプでNeuroFusionを個別に評価した。
  論文  参考訳（メタデータ） (2026-09-02T10:29:53Z)
• Myovox: Reading Speech from the Muscles of the Face [0.0]
  ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。 51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
  論文  参考訳（メタデータ） (2026-07-15T17:00:41Z)
• From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
  異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。 商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。 低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
  論文  参考訳（メタデータ） (2026-03-02T13:02:13Z)
• Automatically measuring speech fluency in people with aphasia: first achievements using read-speech data [55.84746218227712]
  本研究の目的は,言語習得の分野で開発された信号処理algorithmの関連性を評価することである。
  論文  参考訳（メタデータ） (2023-08-09T07:51:40Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Non-Contrastive Self-Supervised Learning of Utterance-Level Speech Representations [37.665503758394934]
  本稿では, 発話レベルの埋め込みを学習するために, ラベル付き音声コーパスに対して, 非コントラスト型自己教師学習法を適用した。 対照的な方法とは異なり、DINOは負のサンプリングを必要としない。 これらの埋め込みは話者の検証と感情認識に基づいて評価された。
  論文  参考訳（メタデータ） (2022-08-10T16:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。