論文の概要: CARE-SD: Explainable Reasoning Architecture for Local SLM Self-Disclosure Analysis in Textual Data
- arxiv url: http://arxiv.org/abs/2610.21151v1
- Date: Thu, 15 Oct 2026 03:07:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.146493
- Title: CARE-SD: Explainable Reasoning Architecture for Local SLM Self-Disclosure Analysis in Textual Data
- Title(参考訳): CARE-SD:テキストデータを用いたローカルSLM自己開示分析のための説明可能な推論アーキテクチャ
- Abstract要約: 本研究では, 文脈適応処理, 階層的開示推論, 説明整合性検証, バッチ間の整合性を考慮した新しい4モジュールアーキテクチャであるCARE-SDを開発した。
我々は,Llama 1B,Qwen 1.5B,Llama 3Bの3つのローカルSLMを,5つの組織で82のアノテートされたサイバーセキュリティインタビューを用いて評価した。
CARE-SDはSLMの精度と信頼性を改善し、Llama 3B Macro-F1を0.80から0.88まで増加させた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cybersecurity interviews uncover critical security experiences, behaviors, and privacy concerns often not fully captured by conventional technical assessments. Consequently, identifying genuine self-disclosures is challenging because statements are context-dependent, categories overlap, and automated interpretations may introduce unsupported claims. Locally deployed Small Language Models (SLMs) protect sensitive participant data by keeping processing within controlled environments, but their limited reasoning capabilities make simple prompting insufficient for context-aware and factually reliable analysis. This study developed CARE-SD (Context-Adaptive Reasoning and Explanation for Self-Disclosure), a novel four-module architecture integrating context-adaptive processing, hierarchical disclosure reasoning, explanation-consistency verification, and cross-batch reconciliation. We evaluated three local SLMs, including Llama 1B, Qwen 1.5B, and Llama 3B, using 82 independently annotated cybersecurity interviews across five organizational sectors. Comparisons included conventional classifiers, three prompting strategies, larger 8B--32B models, and architectural ablations. Two independent reviewers assessed disclosure labels, factual claims, and explanation correctness. CARE-SD improved the accuracy and evidence reliability of SLMs, increasing Llama 3B Macro-F1 from 0.80 to 0.88 while reducing unsupported claims by 60\%. Remarkably, the 3B model matched the 20B reference model in category Macro-F1, demonstrating the effectiveness of the architecture without requiring a larger model.
- Abstract(参考訳): サイバーセキュリティのインタビューでは、セキュリティ上の重要な経験、行動、プライバシーに関する懸念が、しばしば従来の技術評価によって完全には捉えられていないことが判明した。
したがって、ステートメントがコンテキスト依存であり、カテゴリが重複し、自動的な解釈が支持できないクレームを導入するため、真の自己開示を特定することは困難である。
ローカルにデプロイされたSmall Language Models (SLM) は、制御された環境内での処理を維持することで、機密性の高い参加者データを保護するが、その限定的な推論能力により、コンテキスト認識と事実的信頼性のある分析において、単純なプロンプトが不十分になる。
本研究では,CARE-SD(Context-Adaptive Reasoning and Explanation for Self-Disclosure)を開発した。
我々は,Llama 1B,Qwen 1.5B,Llama 3Bの3つのローカルSLMを,5つの組織で82のアノテートされたサイバーセキュリティインタビューを用いて評価した。
比較対象は、従来の分類器、3つのプロンプト戦略、8B--32Bモデル、アーキテクチャ改善などであった。
2人の独立した審査員が開示ラベル、事実的主張、説明的正当性を評価した。
CARE-SDはSLMの精度とエビデンス信頼性を改善し、Llama 3B Macro-F1を0.80から0.88まで増加させた。
注目すべきは、3BモデルはカテゴリのマクロF1の20B参照モデルと一致し、より大きなモデルを必要としないアーキテクチャの有効性を示したことである。
関連論文リスト
- SERA-IDS: Structured Experience Retrieval-Augmented Intrusion Detection with Small Language Models [0.0]
大規模言語モデル(LLM)は、ネットワーク侵入検出に対する柔軟なアプローチを提供する。
数値フローレコードの直接分類は、トラフィック固有の決定境界なしでは信頼性が低い。
本稿では,SERA-IDS(Structured Experience Retrieval-Augmented Intru-sion Detection framework)を提案する。
論文 参考訳(メタデータ) (2026-10-02T20:03:16Z) - CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement [50.91045324738942]
CLAIMは、オープンドメイン環境でのアクティブな明確化学習のための不確実性駆動フレームワークである。
本研究では,不確実性推定とセマンティッククラスタリングと推論に基づく判断を統合したエントロピー駆動型合成データ生成パイプラインを提案する。
実験の結果,手動でラベル付けしたデータに頼ることなく,CLAIMが安定かつ一般化可能な明確化戦略を学習できることが確認された。
論文 参考訳(メタデータ) (2026-08-12T04:27:45Z) - Chunking, Retrieval, and Re-ranking: An Empirical Evaluation of RAG Architectures for Policy Document Question Answering [0.0]
大規模言語モデル(LLM)の公衆衛生政策分野への統合は、疾病管理予防センター(CDC)などの機関が管理する規制ガイダンスの膨大なリポジトリをナビゲートするための変革的なアプローチを提供する。
LLMが幻覚を発生させることの正当性は、情報整合性が不可能なハイテイク環境において、これらの技術を採用する上で重要な障壁となる。
この経験的評価は、信頼できる文書コンテキストにおける生成出力を基盤として、これらのリスクを軽減するために、検索型拡張生成(RAG)アーキテクチャの有効性を探求するものである。
論文 参考訳(メタデータ) (2026-01-21T20:52:48Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳(メタデータ) (2025-12-31T13:55:54Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳(メタデータ) (2025-11-27T07:20:52Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳(メタデータ) (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。