論文の概要: CANDI: Contextual Alignment for Niche Domains Question Answering
- arxiv url: http://arxiv.org/abs/2607.11891v1
- Date: Wed, 06 May 2026 06:40:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.99777
- Title: CANDI: Contextual Alignment for Niche Domains Question Answering
- Title(参考訳): CANDI: Niche Domains Question Answeringのコンテキストアライメント
- Abstract要約: CANDI-QA(Contextual Alignment for Niche Domains Question Answering)は,大規模言語モデル(LLM)を評価する新しいデータセットである。
我々は,コンパクトなオープンソースから最先端のプロプライエタリシステムまで,10以上の多様な言語モデルを評価する。
堅牢なベースラインとして,ニューラル検索とルールベースの推論を組み合わせた軽量なニューラルシンボリック・フレームワークMTSS-Netを提案する。
- 参考スコア(独自算出の注目度): 5.739840108858911
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The deployment of large language models (LLMs) in specialized domains like medical diagnostics and financial advisory necessitates evaluating capabilities beyond general knowledge. Traditional question-answering benchmarks often fail to capture the nuanced contextual grounding, user awareness, and domain understanding these fields require. To address this, we introduce CANDI-QA (Contextual Alignment for Niche Domains Question Answering), a novel dataset evaluating LLMs on delivering accurate, context-sensitive, and user-aligned answers in specialized settings. CANDI-QA features expert-curated question-answer pairs structured into two categories: (1) Information Assistance Questions, which are direct, factual queries requiring precise extraction, and (2) Applied Inference Questions, which are multi-hop reasoning tasks needing situational inference to generate actionable insights. We evaluate over ten diverse language models, from compact open-source to state-of-the-art proprietary systems. As a robust baseline, we present MTSS-Net, a lightweight neuro-symbolic framework combining neural retrieval with rule-based reasoning. Our findings highlight the profound challenges of achieving contextual alignment in niche domains, revealing the limitations of current LLMs without enhanced contextual or symbolic integration. Ultimately, CANDI-QA serves as a critical benchmark for advancing research in context-aware language models, stimulating the development of robust, trustworthy AI for high-stakes domains.
- Abstract(参考訳): 医学診断や金融アドバイザリのような専門分野における大規模言語モデル(LLM)の展開は、一般的な知識を超える能力を評価する必要がある。
従来の問合せベンチマークは、複雑なコンテキストのグラウンド、ユーザの認識、これらのフィールドのドメイン理解を捉えるのに失敗することが多い。
CANDI-QA(Contextual Alignment for Niche Domains Question Answering, ニッシュドメイン質問応答のためのコンテキストアライメント)は, 特定の設定において, 正確な, コンテキストに敏感な, ユーザ対応の回答を提供する上で, LLMを評価する新しいデータセットである。
CANDI-QA は,(1) 直接的, 事実的, 的確な抽出を必要とする質問である情報支援質問, (2) 行動可能な洞察を生成するために, 状況推論を必要とするマルチホップ推論タスクである応用推論質問, の2つのカテゴリに分類される。
我々は,コンパクトなオープンソースから最先端のプロプライエタリシステムまで,10以上の多様な言語モデルを評価する。
堅牢なベースラインとして,ニューラル検索とルールベースの推論を組み合わせた軽量なニューラルシンボリック・フレームワークMTSS-Netを提案する。
本研究は,ニッチドメインにおけるコンテキストアライメントを実現する上での課題を浮き彫りにし,文脈統合や記号統合の強化を伴わない現在のLLMの限界を明らかにした。
究極的には、CANDI-QAはコンテキスト対応言語モデルの研究を進めるための重要なベンチマークとして機能し、高度なドメインのための堅牢で信頼性の高いAIの開発を促進する。
関連論文リスト
- Multimodal QUD: Inquisitive Questions from Scientific Figures [63.41049609329304]
我々は、科学的論文に携わるときに人間が生み出す疑問の深さに達する質問を生成する。
我々は、QUDの言語理論をテキストのみからマルチモーダルに拡張する。
MQUD上でのVLMの微調整により、一般的な低レベルの視覚的質問からコンテンツ固有のグラウンドへとモデルをシフトすることを示す。
論文 参考訳(メタデータ) (2026-04-26T14:25:23Z) - Query Expansion in the Age of Pre-trained and Large Language Models: A Comprehensive Survey [21.764997953030857]
現代の情報検索は、多種多様な動的コーパスであいまいなクエリを調整しなければならない。
インジェクションのポイント、接地と相互作用、学習とアライメント、知識グラフの統合の4つの相補的な側面に沿って、最近の作業を組織化します。
この調査では、Web検索、バイオメディシン、eコマース、オープンドメイン質問応答/RAG、会話とコード検索、言語間設定など、7つの側面にわたる従来のQEと神経質なQEを比較した。
論文 参考訳(メタデータ) (2025-09-09T14:31:11Z) - iQUEST: An Iterative Question-Guided Framework for Knowledge Base Question Answering [9.329800077564673]
iQUESTは、複雑なクエリを単純なサブクエリに繰り返し分解する質問誘導KBQAフレームワークである。
グラフニューラルネットワーク(GNN)を統合して、各推論ステップに2ホップ隣の情報を組み込む。
論文 参考訳(メタデータ) (2025-06-02T15:30:02Z) - Disambiguation in Conversational Question Answering in the Era of LLMs and Agents: A Survey [54.90240495777929]
自然言語処理(NLP)におけるあいまいさは依然として根本的な課題である
LLM(Large Language Models)の出現により、あいまいさに対処することがさらに重要になった。
本稿では,言語駆動システムにおけるあいまいさの定義,形態,含意について考察する。
論文 参考訳(メタデータ) (2025-05-18T20:53:41Z) - Domain-Specific Retrieval-Augmented Generation Using Vector Stores, Knowledge Graphs, and Tensor Factorization [7.522493227357079]
大規模言語モデル(LLM)は大規模コーパスで事前訓練されている。
LLMは幻覚、知識の遮断、知識の帰属の欠如に悩まされる。
SMART-SLICはドメイン固有のLLMフレームワークである。
論文 参考訳(メタデータ) (2024-10-03T17:40:55Z) - Knowledge Tagging with Large Language Model based Multi-Agent System [17.53518487546791]
本稿では,従来のアルゴリズムの限界に対処するマルチエージェントシステムについて検討する。
我々は,従来の手法が抱えていた課題を克服する上で,LLMベースのマルチエージェントシステムの可能性を強調した。
論文 参考訳(メタデータ) (2024-09-12T21:39:01Z) - Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。
我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。
われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
論文 参考訳(メタデータ) (2024-01-23T11:25:34Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。
まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。
第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。
第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
論文 参考訳(メタデータ) (2023-10-09T11:45:59Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - Question Answering over Knowledge Bases by Leveraging Semantic Parsing
and Neuro-Symbolic Reasoning [73.00049753292316]
本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。
NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-12-03T05:17:55Z) - A Survey on Complex Question Answering over Knowledge Base: Recent
Advances and Challenges [71.4531144086568]
知識ベース(KB)に対する質問回答(QA)は、自然言語の質問に自動的に答えることを目的としている。
研究者は、よりKBのトリプルと制約推論を必要とする単純な質問から複雑な質問へと注意を移した。
論文 参考訳(メタデータ) (2020-07-26T07:13:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。