論文の概要: LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science
- arxiv url: http://arxiv.org/abs/2606.15566v1
- Date: Sun, 14 Jun 2026 03:03:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.695242
- Title: LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science
- Title（参考訳）: 科学談話におけるLCM支援スタンス検出:ベイズ認知科学における一事例
- Abstract要約: メソッドは理論駆動のコードブック、専門家のコード化された参照アノテーション、診断付きプロンプト最適化検索を組み合わせる。
210条の引用6,858件に展開され、3つのLCMは相当な引用レベルの合意に達した。
低レベルの知覚/運動記事は、高いレベルの認知記事よりも8.8のリアリズムポイントを獲得した。
- 参考スコア（独自算出の注目度）: 1.6143062786972913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Qualitative coding is central to social science, but expert annotation is difficult to scale. LLMs offer a possible extension, yet require careful validation when the target construct is interpretive, theoretically loaded, and only indirectly expressed. We study this problem in a difficult case: detecting whether authors treat Bayesian models as descriptions of mental and neural mechanisms (realism) or as useful mathematical tools (instrumentalism). Our method combines a theory-driven codebook, expert-coded reference annotations, a diagnostic-gated prompt-optimization search yielding a shared zero-shot prompt for three frontier LLMs (GPT-5.1, Claude Sonnet 4.6, Gemini 3 Pro Preview), and multi-rater reliability analysis. The final prompt achieved a held-out combined reliability score of 0.76 (harmonic mean of ICC = 0.79 and $α$ = 0.74), with all diagnostics satisfied. Deployed on 6,858 quotes from 210 articles, the three LLMs reached substantial quote-level agreement (ICC = 0.80; $α$ = 0.76; combined = 0.78) and near-perfect article-level rank stability ($r$ = 0.96-0.97 across rater pairs). The corpus was predominantly weakly realist, but article-level stances were rarely uniform: only 1.4% of articles used a single band, while 59.5% spanned four or more. Low-level perception/motor articles scored 8.8 Realism points higher than high-level cognition articles ($p < .001$, $d = 0.60$), quantifying a long-held qualitative intuition. We present this as an expert-led case study; the framework is intended to generalize to similar theoretically demanding tasks, not to all qualitative analysis.
- Abstract（参考訳）: 定性的なコーディングは社会科学の中心であるが、専門家のアノテーションをスケールすることは困難である。
LLMは可能な拡張を提供するが、ターゲット構造体が解釈的、理論的にロードされ、間接的にのみ表現される場合、慎重に検証する必要がある。
著者がベイズモデルを精神的・神経的なメカニズム(リアリズム)の記述として扱うか、あるいは有用な数学的ツール(インストラクタリズム)として扱うかを検出する。
提案手法は,理論駆動のコードブック,エキスパートコードによる参照アノテーション,3つのフロンティア LLM (GPT-5.1, Claude Sonnet 4.6, Gemini 3 Pro Preview) の共有ゼロショットプロンプトを生成する診断ゲート付きプロンプト最適化検索,およびマルチレータ信頼性解析を組み合わせた。
最終的なプロンプトは0.76(ICC = 0.79 と $α$ = 0.74 の高調波平均)で、全ての診断が満たされた。
210の論文から6,858の引用として展開された3つのLCMは、実質的な引用レベルの合意(ICC = 0.80; $α$ = 0.76; combined = 0.78)と、ほぼ完全な記事レベルの安定性(ローダペア間で0.96-0.97)に達した。
コーパスは主に弱いリアリストであったが、記事レベルのスタンスはほとんど均一で、記事のわずか1.4%が1つのバンドを使用し、59.5%が4つ以上のバンドであった。
低レベルの知覚/運動的記事は、高いレベルの認知的記事(p < .001$, $d = 0.60$)よりも8.8のリアリズム的ポイントを獲得し、長期にわたる定性的直観を定量化した。
我々はこれを専門家主導のケーススタディとして提示し、このフレームワークは全ての定性的分析ではなく、理論的に要求される課題に一般化することを意図している。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis [0.0]
大規模言語モデル(LLM)は、この作業を加速するかもしれないが、レビューの認知的タスクに対する信頼性は依然として不確実である。
我々は,エビデンス合成をスクリーニング,抽出,解析,合成に分解する「知識合成レビュー(KSR)」を紹介した。
我々は、GPT-5, Claude Sonnet 4, Gemini 2.5 Pro, NotebookLMを、AI上の1,893文書コーパスから抽出した244文書のベンチマークサブセットで評価した。
論文 参考訳（メタデータ） (2026-08-13T02:41:14Z) - Attributing Emergence in Million-Agent Systems [68.53670424791751]
大規模言語モデル(LLM)は、個々のエージェントにおける人間のような推論と意思決定をシミュレートすることができる。
このような研究は、個々のエージェントにマクロな出現をもたらす必要がある。
Aumann--Shapley path-integral attribution to LLM-powered MAS at million-agent scale。
論文 参考訳（メタデータ） (2026-05-12T01:49:41Z) - Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization [0.0]
著者検証理論の基盤評価は,どのベンチマークを計測できるかを変換することを示した。
我々は50人の著者と1000世代にわたる4つの推論時パーソナライズ手法を評価した。
論文 参考訳（メタデータ） (2026-04-29T09:17:01Z) - Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics [0.0]
本稿では,Large Language Models (LLMs) を潜在経済変数の測定手段として用いるための理論的,実践的な基礎を確立する。
LLMが生成したスコアが有効な楽器を構成する4つの条件を定式化する。
次に、このフレームワークを18,796 O*NETタスクステートメントから構築されたAHC_o(Augmented Human Capital Index)に適用します。
論文 参考訳（メタデータ） (2026-04-02T16:17:55Z) - DiscoUQ: Structured Disagreement Analysis for Uncertainty Quantification in LLM Agent Ensembles [5.647839536820347]
著者間の不一致構造を抽出し活用し,信頼度を良好に推定するフレームワークであるDiscoUQを紹介する。
DiscoUQ-LLM の平均 AUROC は 0.802 であり、最高のベースラインを上回っている。
学習した機能は、ほぼゼロに近いパフォーマンス劣化を伴うベンチマークで一般化される。
論文 参考訳（メタデータ） (2026-03-21T23:24:12Z) - How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations [1.0829694003408499]
大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。
これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。
以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
論文 参考訳（メタデータ） (2026-02-07T00:14:00Z) - Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation [4.527396444851612]
従来のラター間合意法では、複数のヒューマンコーダが必要であり、時間集約的であり、しばしば適度な一貫性をもたらす。
アンサンブル検証と2つの信頼性指標を組み合わせたLLMに基づくテーマ解析のための多視点検証フレームワークを提案する。
Geminiは6つのコンセンサステーマ(50～83%の一貫性)、GPT-4oは5つのテーマ、Claude 4は4つのテーマを識別する。
論文 参考訳（メタデータ） (2025-12-23T13:32:43Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。
モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。
私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
論文 参考訳（メタデータ） (2024-10-17T17:51:40Z) - Intention Analysis Makes LLMs A Good Jailbreak Defender [79.4014719271075]
我々は,シンプルかつ高能率な防衛戦略,すなわち意図分析(mathbbIA$)を提示する。
$mathbbIA$ は LLM 固有の自己修正をトリガーし、2段階のプロセスを通じて能力を向上させる。
さまざまなjailbreakベンチマークの実験によると、$mathbbIA$は一貫して応答の有害性を著しく低減できる。
論文 参考訳（メタデータ） (2024-01-12T13:15:05Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳（メタデータ） (2023-10-23T17:58:40Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳（メタデータ） (2023-01-31T03:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。