論文の概要: Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors
- arxiv url: http://arxiv.org/abs/2608.06300v1
- Date: Thu, 06 Aug 2026 17:20:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.977829
- Title: Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors
- Title（参考訳）: 概念活性化ベクトルを用いたL2話者評価システムのバイアス解析
- Abstract要約: 概念活性化ベクトル (concept Activation Vectors, CAV) は、人間の解釈可能な概念をモデルの活性化空間の方向として表現する。
我々は、CAVに基づく分析を、テキストベースのBERTグレーダとWhisperに基づく音声とテキストのマルチモーダルグレーダの2つのニューラルな評価システムに拡張する。
- 参考スコア（独自算出の注目度）: 2.27726424067057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic speaking assessment systems are increasingly deployed in high-stakes settings to mark second language (L2) learners' speaking tests, making it critical to show that their scores depend on speaking proficiency rather than irrelevant speaker attributes such as first language (L1) or age. Transformer-based foundation models have improved the accuracy of these L2 speaking graders, but their black-box representations make fairness and interpretability analysis more difficult. Building on prior work that used Concept Activation Vectors (CAVs) to detect bias towards unwanted attributes (`concepts') in feature-based graders, we extend CAV-based analysis to two neural speaking assessment systems: a text-based BERT grader and a speech-and-text multimodal grader based on Whisper. CAVs represent human-interpretable concepts as directions in a model's activation space, allowing us to distinguish between whether a concept is encoded in a model's internal representations and whether it influences the predicted score, the latter quantified using a gradient-based sensitivity metric. Since CAVs rely on linear separability, which is less likely in complex neural embedding spaces, we also investigate whether sparse autoencoders (SAEs) provide cleaner concept directions by learning CAVs in a sparse latent space and mapping them back to activation space. Our analysis shows that concept recoverability depends strongly on the representation and architecture being probed, rather than on the concept alone. Sensitivity to concepts is also architecture-dependent. SAEs make concepts more linearly recoverable, but attenuate the original activation-space sensitivity, especially in low-dimensional layers. These findings highlight the need to distinguish concept recoverability from concept influence when auditing bias in speaking assessment systems.
- Abstract（参考訳）: 自動音声アセスメントシステムは,第2言語(L2)学習者の発話テストを示すために,ハイテイクな環境にますます展開され,第1言語(L1)や年齢などの不適切な話者属性よりも,その得点が話し習熟度に依存することを示すことが重要である。
トランスフォーマーに基づく基礎モデルでは、これらのL2話者グレーダーの精度が向上したが、それらのブラックボックス表現は公平さと解釈可能性の分析をより困難にしている。
本研究は,CAV(Concept Activation Vectors, 概念活性化ベクトル)を用いて特徴ベースグレーダにおける不必要な属性( `concepts')に対するバイアスを検出する先行研究に基づいて,CAVに基づく分析を,Whisperに基づくテキストベースBERTグレーダと音声・テキストマルチモーダルグレーダの2つのニューラル音声アセスメントシステムに拡張する。
CAVは、モデルのアクティベーション空間の方向として人間の解釈可能な概念を表現し、モデルの内部表現に概念がエンコードされているか、それが予測スコアに影響を与えるかを区別することができる。
CAVは、複雑な神経埋め込み空間では起こりそうにない線形分離性に依存しているため、スパースオートエンコーダ(SAE)がスパース潜在空間でCAVを学習し、活性化空間にマッピングすることで、よりクリーンな概念方向を提供するかどうかも検討する。
我々の分析は、概念の回復性は、概念のみではなく、調査対象の表現とアーキテクチャに強く依存していることを示している。
概念に対する感受性もアーキテクチャに依存している。
SAEは概念をより線形に回復させるが、特に低次元の層において、元の活性化空間感度を減衰させる。
これらの知見は,音声アセスメントシステムにおける聴取バイアスにおいて,概念の回復可能性と概念の影響を区別する必要性を浮き彫りにした。
関連論文リスト
- Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。
これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。
複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
論文 参考訳（メタデータ） (2026-09-09T09:07:40Z) - Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations [12.535445487099393]
本研究では,SAE潜伏剤と人間注釈概念のアライメントを定量化する人為的評価フレームワークを提案する。
対象属性の摂動によるマッチングを検証する。
我々のフレームワークは、中程度の辞書サイズが最良のトレードオフをもたらし、最も解釈可能なSAEをもたらすことを示唆している。
論文 参考訳（メタデータ） (2026-06-23T15:39:29Z) - Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。
我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。
対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
論文 参考訳（メタデータ） (2026-04-10T09:02:42Z) - VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set [80.50996301430108]
視覚言語表現のアライメントは、強いマルチモーダル推論能力を持つ現在のビジョン言語モデルを実現する。
視覚言語表現をその隠れアクティベーションにエンコードするスパースオートエンコーダVL-SAEを提案する。
解釈において、視覚と言語表現のアライメントは、意味論と概念を比較することで理解することができる。
論文 参考訳（メタデータ） (2025-10-24T10:29:31Z) - Analyzing Latent Concepts in Code Language Models [10.214183897113118]
グローバルなポストホック解釈可能性フレームワークであるコード概念分析(CoCoA)を提案する。
CoCoAは、コード言語モデルの表現空間における創発的語彙、構文、意味構造を明らかにする。
本稿では,静的解析ツールをベースとした構文アライメントと,プロンプトエンジニアリングによる大規模言語モデルを組み合わせたハイブリッドアノテーションパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-01T03:53:21Z) - Understanding and evaluating computer vision models through the lens of counterfactuals [2.2819712364325047]
この論文は、視覚分類器および生成モデルにおけるバイアスの説明、監査、緩和に反事実を使用するフレームワークを開発する。
体系的に意味のある属性を体系的に変更し、他の属性を固定することで、これらの手法は突発的な相関を明らかにする。
これらの貢献は、識別モデルと生成モデルの両方において、解釈可能性、公正性、因果性のための統一レンズとして反事実を示す。
論文 参考訳（メタデータ） (2025-08-28T15:11:49Z) - Unveiling Decision-Making in LLMs for Text Classification : Extraction of influential and interpretable concepts with Sparse Autoencoders [0.0]
本稿では,テキスト分類に適した新しいSAEアーキテクチャを提案する。
我々はこのアーキテクチャを、ConceptShap、Independent Component Analysis、その他のSAEベースの概念抽出技術といった確立した手法と比較した。
私たちのアーキテクチャは,抽出した特徴の因果性と解釈性の両方を改善している。
論文 参考訳（メタデータ） (2025-06-30T15:18:50Z) - Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。
パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。
我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
論文 参考訳（メタデータ） (2025-06-05T06:39:43Z) - Interpretable 3D Neural Object Volumes for Robust Conceptual Reasoning [68.3379650993108]
CAVE(Concept Aware Volumes for Explanations)は、画像分類における解釈可能性と堅牢性を統一する新しい方向である。
本稿では,概念の空間的整合性を測定する尺度である3次元整合性(3D-C)を提案する。
CAVEは、様々なOOD設定における画像間の一貫性と意味のある概念を発見しながら、競争力のある分類性能を達成する。
論文 参考訳（メタデータ） (2025-03-17T17:55:15Z) - Explaining Explainability: Recommendations for Effective Use of Concept Activation Vectors [35.37586279472797]
概念ベクトル活性化(Concept Vector Activations, CAV)は、概念実証者のプローブデータセットを用いて学習される。
CAVの3つの特性として,層間不整合,(2)他の概念との絡み合い,(3)空間依存性について検討する。
これらの特性の存在を検出するためのツールを導入し、各特性がどのように誤解を招くのかを洞察し、その影響を軽減するためのレコメンデーションを提供する。
論文 参考訳（メタデータ） (2024-04-04T17:46:20Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Preliminary study on using vector quantization latent spaces for TTS/VC
systems with consistent performance [55.10864476206503]
本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。
トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。
実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
論文 参考訳（メタデータ） (2021-06-25T07:51:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。