論文の概要: A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models
- arxiv url: http://arxiv.org/abs/2606.14117v1
- Date: Fri, 12 Jun 2026 04:56:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.752498
- Title: A Two-Stage Statistical Framework for Evaluating Associative Interference in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける連想干渉評価のための2段階統計フレームワーク
- Authors: Achraf Cohen, Andrew Kincaid,
- Abstract要約: 我々は、IAT(Implicit Association Test)を制御された強制選択フレームワークに適用する。
我々は3つの大きな言語モデル間の連想的干渉を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly evaluated for bias using adaptations of human psychological paradigms, yet methodological limitations-particularly the conflation of refusal behavior with task performance-have hindered clear interpretation. Here, we adapt the Implicit Association Test (IAT) to a controlled, forced-choice framework and introduce a two-stage modeling approach that separates response compliance from task-consistent classification. Across three contemporary LLMs (Claude Sonnet-4, Gemini 2.5 Pro, and GPT-5), we evaluate associative interference, defined as reduced task-consistency in incongruent relative to congruent conditions. While compliance with the structured response format was uniformly high, interference effects varied substantially across models and domains. Claude Sonnet-4 exhibited strong interference in the Gender--Career domain (DeltaP = 0.086, 95% CrI [0.026, 0.173]) and smaller but credible effects in Gender--Science. Gemini 2.5 Pro showed attenuated interference, and GPT-5 exhibited minimal or no detectable interference across domains. These findings demonstrate that IAT-style associative asymmetries are not a universal property of LLMs, but instead depend on model-specific characteristics. By isolating interference from compliance and modeling item-level variability, this study provides a principled framework for evaluating structured response patterns in LLMs. The results highlight the importance of model-specific assessment and suggest that associative interference can be substantially mitigated in modern systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、人間の心理学的パラダイムの適応を用いてバイアスとして評価されることが多いが、方法論的な制限、特にタスクパフォーマンスに障害のある拒絶行動の融合は明確な解釈を妨げている。
ここでは、IAT(Implicit Association Test)を制御された強制選択フレームワークに適用し、応答コンプライアンスをタスク一貫性の分類から分離する2段階モデリングアプローチを導入する。
3つの現代LLM(Claude Sonnet-4, Gemini 2.5 Pro, GPT-5)において, 同調条件に対する非一致条件におけるタスク一貫性の低下として定義された連想的干渉を評価する。
構造された応答形式へのコンプライアンスは均一に高かったが、干渉効果はモデルやドメインによって大きく変化した。
Claude Sonnet-4 は Gender-Career ドメイン (DeltaP = 0.086, 95% CrI [0.026, 0.173]) に強い干渉を示し、Gender-Science では小さいが信頼できる効果を示した。
Gemini 2.5 Proは減衰した干渉を示し、GPT-5はドメイン間の最小または全く検出できない干渉を示した。
これらの結果から,IAT型連想対称性はLLMの普遍的な特性ではなく,モデル固有の特性に依存していることが明らかとなった。
コンプライアンスから干渉を分離し,項目レベルの変動をモデル化することにより,LLMの構造的応答パターンを評価するための基本的枠組みを提供する。
その結果、モデル固有の評価の重要性が強調され、現代のシステムでは連想的干渉が著しく軽減される可能性が示唆された。
関連論文リスト
- Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。
単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。
これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
論文 参考訳（メタデータ） (2026-05-12T06:58:35Z) - Characterizing the Consistency of the Emergent Misalignment Persona [20.023580689198248]
狭義のミスアライメントデータ上の微調整された大きな言語モデルは、創発的ミスアライメント(EM)と呼ばれる広いミスアライメント行動に一般化する
狭義の6つのドメイン上のQwen 2.5 32B命令を微調整することで、EMペルソナの整合性を特徴づける。
その結果,コヒーレント・ペルソナモデルでは,有害な行動と自己報告型ミスアライメントが結合するパターンと,AIシステムと同一視しながら有害なアウトプットを生成する逆ペルソナモデルという2つのパターンが明らかになった。
論文 参考訳（メタデータ） (2026-04-30T16:26:53Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。
我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。
本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
論文 参考訳（メタデータ） (2026-01-29T17:48:56Z) - Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。
パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。
我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
論文 参考訳（メタデータ） (2025-06-05T06:39:43Z) - Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence [46.548276232795466]
多意味性は言語モデルに広く浸透しており、解釈とモデル行動制御の大きな課題である。
2つの小さなモデルの多意味的トポロジをマッピングし、意味的に無関係だがモデル内の干渉を示す特徴対を同定する。
我々は4つのloci(prompt, token, feature, neuron)に介入し、次のトーケン予測分布における変化を計測し、これらのモデルに体系的な脆弱性を露呈する多意味構造を明らかにする。
論文 参考訳（メタデータ） (2025-05-16T18:20:42Z) - A NotSo Simple Way to Beat Simple Bench [0.0]
本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。
モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。
クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
論文 参考訳（メタデータ） (2024-12-12T16:04:31Z) - Quantifying perturbation impacts for large language models [49.1574468325115]
本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。
摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
論文 参考訳（メタデータ） (2024-12-01T16:13:09Z) - Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
文脈介入の効果を測定するために因果効果推定手法を適用した。
本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
論文 参考訳（メタデータ） (2024-04-03T10:22:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。