論文の概要: The Text Aphasia Battery (TAB): A Clinically-Grounded Benchmark for Aphasia-Like Deficits in Language Models

• arxiv url: http://arxiv.org/abs/2511.20507v1
• Date: Tue, 25 Nov 2025 17:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.568867
• Title: The Text Aphasia Battery (TAB): A Clinically-Grounded Benchmark for Aphasia-Like Deficits in Language Models
• Title（参考訳）: テキスト失語症バッテリ(TAB) : 言語モデルにおける失語症様障害の検討
• Authors: Nathan Roll, Jill Kries, Flora Jin, Catherine Wang, Ann Marie Finley, Meghan Sumner, Cory Shain, Laura Gwilliams,
• Abstract要約: Text Aphasia Battery (TAB) は、大規模言語モデル(LLM)における失語症様の欠陥を評価するためにQuick Aphasia Battery (QAB) から適応されたテキストのみのベンチマークである。 本稿ではTABの設計、サブテスト、評価基準について詳述する。 我々はTABを,人工システムにおける言語欠陥を解析するための臨床応用,拡張性のあるフレームワークとしてリリースする。
• 参考スコア（独自算出の注目度）: 1.626147873921364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have emerged as a candidate "model organism" for human language, offering an unprecedented opportunity to study the computational basis of linguistic disorders like aphasia. However, traditional clinical assessments are ill-suited for LLMs, as they presuppose human-like pragmatic pressures and probe cognitive processes not inherent to artificial architectures. We introduce the Text Aphasia Battery (TAB), a text-only benchmark adapted from the Quick Aphasia Battery (QAB) to assess aphasic-like deficits in LLMs. The TAB comprises four subtests: Connected Text, Word Comprehension, Sentence Comprehension, and Repetition. This paper details the TAB's design, subtests, and scoring criteria. To facilitate large-scale use, we validate an automated evaluation protocol using Gemini 2.5 Flash, which achieves reliability comparable to expert human raters (prevalence-weighted Cohen's kappa = 0.255 for model--consensus agreement vs. 0.286 for human--human agreement). We release TAB as a clinically-grounded, scalable framework for analyzing language deficits in artificial systems.
• Abstract（参考訳）: 大型言語モデル(LLM)は、失語症のような言語障害の計算基盤を研究する前例のない機会を提供する、人間の言語のための「モデル生物」候補として登場した。 しかし、従来の臨床評価は、人工建築に固有の人間のような実用的圧力やプローブ認知過程を前提とするため、LLMに不適である。 テキスト・アファシア・バッテリ (TAB) は, 軽度アファシア・バッテリ (QAB) を用いて, LLMの失語症様障害を評価するためのテキストのみのベンチマークである。 TABは、Connected Text、Word Comprehension、Sentence Comprehension、Repetitionの4つのサブテストで構成されている。 本稿ではTABの設計、サブテスト、評価基準について詳述する。 大規模利用を容易にするため,我々は,専門家のレーダに匹敵する信頼性を実現する,Gemini 2.5 Flashを用いた自動評価プロトコルを検証した(有能なコーエンのカッパ=0.255 対人間契約 0.286 対モデル合意)。 我々はTABを,人工システムにおける言語欠陥を解析するための臨床応用,拡張性のあるフレームワークとしてリリースする。

関連論文リスト

• SwasthLLM: a Unified Cross-Lingual, Multi-Task, and Meta-Learning Zero-Shot Framework for Medical Diagnosis Using Contrastive Representations [0.4077787659104315]
  SwasthLLMは、医用診断のための統一、ゼロショット、クロスランガル、マルチタスク学習フレームワークである。 英語、ヒンディー語、ベンガル語で、言語固有の微調整を必要としない。 SwasthLLMは97.22%、F1スコア97.17%という高い診断性能を達成している。
  論文  参考訳（メタデータ） (2025-09-24T21:20:49Z)
• Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model [3.3590922002216193]
  モデルに依存しないメタラーニングと,このギャップに対処するために大規模言語モデル(LLM)を活用する。 まず,自己超越型メタラーニングモデルを適用し,迅速な適応と言語間移動のためのモデル初期化を改良する。 並行して、LLMのインコンテキスト学習機能を用いて、スワヒリのメンタルヘルス予測タスクにおけるパフォーマンスの精度を評価する。
  論文  参考訳（メタデータ） (2024-04-13T17:11:35Z)
• BrainLLM: Generative Language Decoding from Brain Recordings [77.66707255697706]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Semantic Coherence Markers for the Early Diagnosis of the Alzheimer Disease [0.0]
  パープレキシティはもともと、与えられた言語モデルがテキストシーケンスを予測するのにどの程度適しているかを評価するための情報理論の尺度として考え出された。 我々は2グラムから5グラムまでのN-gramとトランスフォーマーベース言語モデルであるGPT-2を多種多様な言語モデルに適用した。 ベストパフォーマンスモデルでは、ADクラスと制御対象の両方から対象を分類する際に、完全精度とFスコア(精度/特異度とリコール/感度のそれぞれ1.00)を達成した。
  論文  参考訳（メタデータ） (2023-02-02T11:40:16Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Zero-Shot Cross-lingual Aphasia Detection using Automatic Speech Recognition [3.2631198264090746]
  失語症(英: Aphasia)は、一般的には脳損傷や脳卒中によって引き起こされる言語障害であり、世界中の何百万人もの人々に影響を及ぼす。 本稿では,言語間音声表現を共用する事前学習型自動音声認識(ASR)モデルを用いたエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:05:02Z)
• GPT-D: Inducing Dementia-related Linguistic Anomalies by Deliberate Degradation of Artificial Neural Language Models [7.8430387435520625]
  一般英語テキストで事前学習したTransformer DLモデル(GPT-2)を,人工劣化版(GPT-D)と組み合わせて提案する手法を提案する。 この手法は、広く使われている「Cookie Theft」画像記述タスクから得られたテキストデータに対する最先端のパフォーマンスにアプローチする。 本研究は, 生成型ニューラル言語モデルの内部動作, 生成する言語, 認知症が人間の発話や言語特性に与える影響について, より深く理解するためのステップである。
  論文  参考訳（メタデータ） (2022-03-25T00:25:42Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。