論文の概要: Question Answering for Multi-Release Systems: A Case Study at Ciena

• arxiv url: http://arxiv.org/abs/2601.02345v1
• Date: Mon, 05 Jan 2026 18:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:23.358473
• Title: Question Answering for Multi-Release Systems: A Case Study at Ciena
• Title（参考訳）: マルチリースシステムに対する質問応答:Cienaを事例として
• Authors: Parham Khamsepour, Mark Cole, Ish Ashraf, Sandeep Puri, Mehrdad Sabetzadeh, Shiva Nejati,
• Abstract要約: マルチリリースシステムからのドキュメントに対する質問に対する回答は、異なるリリースが明確に重なり合うドキュメントを持っているため、課題を引き起こします。 マルチリリースシステム文書における最先端質問応答技術の不正確さから,本論文ではQAMRを提案する。 QAMRは、従来の検索拡張生成(RAG)を強化し、異なるリリースのための非常に類似しているが異なるドキュメントに直面した精度を保証する。
• 参考スコア（独自算出の注目度）: 1.3252590516094356
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Companies regularly have to contend with multi-release systems, where several versions of the same software are in operation simultaneously. Question answering over documents from multi-release systems poses challenges because different releases have distinct yet overlapping documentation. Motivated by the observed inaccuracy of state-of-the-art question-answering techniques on multi-release system documents, we propose QAMR, a chatbot designed to answer questions across multi-release system documentation. QAMR enhances traditional retrieval-augmented generation (RAG) to ensure accuracy in the face of highly similar yet distinct documentation for different releases. It achieves this through a novel combination of pre-processing, query rewriting, and context selection. In addition, QAMR employs a dual-chunking strategy to enable separately tuned chunk sizes for retrieval and answer generation, improving overall question-answering accuracy. We evaluate QAMR using a public software-engineering benchmark as well as a collection of real-world, multi-release system documents from our industry partner, Ciena. Our evaluation yields five main findings: (1) QAMR outperforms a baseline RAG-based chatbot, achieving an average answer correctness of 88.5% and an average retrieval accuracy of 90%, which correspond to improvements of 16.5% and 12%, respectively. (2) An ablation study shows that QAMR's mechanisms for handling multi-release documents directly improve answer accuracy. (3) Compared to its component-ablated variants, QAMR achieves a 19.6% average gain in answer correctness and a 14.0% average gain in retrieval accuracy over the best ablation. (4) QAMR reduces response time by 8% on average relative to the baseline. (5) The automatically computed accuracy metrics used in our evaluation strongly correlate with expert human assessments, validating the reliability of our methodology.
• Abstract（参考訳）: 企業は定期的にマルチリリースシステムと競合し、同じソフトウェアの複数のバージョンが同時に動作している。 マルチリリースシステムからのドキュメントに対する質問に対する回答は、異なるリリースが明確に重なり合うドキュメントを持っているため、課題を引き起こします。 マルチリリースシステム文書における最先端の問合せ手法の不正確さから,マルチリリースシステム文書にまたがる質問に答えるためのチャットボットQAMRを提案する。 QAMRは、従来の検索拡張生成(RAG)を強化し、異なるリリースのための非常に類似しているが異なるドキュメントに直面した精度を保証する。 これは、前処理、クエリ書き換え、コンテキスト選択という新しい組み合わせによって実現される。 さらに、QAMRは、検索および回答生成のために個別に調整されたチャンクサイズを可能にするために、二重チャンキング戦略を採用し、全体的な質問応答精度を向上させる。 我々は、公開ソフトウェアエンジニアリングベンチマークと、業界パートナーであるCienaによる実世界のマルチリリースシステム文書のコレクションを用いて、QAMRを評価した。 1)QAMRは,平均解答精度88.5%,平均解答精度90%を達成し,それぞれ16.5%と12%に向上した。 2) Ablation studyでは,QAMRのマルチリリース文書処理機構が解答精度を向上することが示された。 (3) 成分関連変種と比較して,QAMRは解答精度が19.6%,解答精度が14.0%,解答精度が14.0%であった。 (4)QAMRは,基準値に対する平均応答時間を8%削減する。 (5) 評価に使用される自動計算精度指標は,専門家による評価と強く相関し,方法論の信頼性を検証した。

関連論文リスト

• Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models [0.0]
  本稿では,ベクトルベースエージェントRAGをハイブリッド検索とメタデータフィルタリングを用いて比較した最初の体系的評価を行う。 検索指標(MRR, Recall@5), LLM-as-a-judgeのペア比較, レイテンシ, 前処理コストを計測する。 以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-22T20:06:25Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Retrieval-Augmented Generation for Reliable Interpretation of Radio Regulations [49.671779378073886]
  無線規制分野における質問応答について検討する。 本稿では,通信事業者固有のレトリーバル拡張生成(RAG)パイプラインを提案する。 当社のアプローチは,テスト対象モデル全体の生成精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-09-11T17:43:42Z)
• RAGentA: Multi-Agent Retrieval-Augmented Generation for Attributed Question Answering [4.224843546370802]
  本稿では,大規模言語モデル(LLM)を用いた属性質問応答フレームワークであるRAGentAを提案する。 RAGentAは、信頼できる回答生成の目標として、質問と忠実性に対するカバレッジと関連性によって定義された回答の正しさを最適化することに焦点を当てている。 フレームワークの中心は、スパースと密集したメソッドを組み合わせたハイブリッド検索戦略であり、最高の単一検索モデルと比較して、Recall@20を12.5%改善している。
  論文  参考訳（メタデータ） (2025-06-20T13:37:03Z)
• MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。 Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。 この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。 MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
  論文  参考訳（メタデータ） (2024-12-31T08:07:26Z)
• Retrieval-Augmented Generation for Domain-Specific Question Answering: A Case Study on Pittsburgh and CMU [3.1787418271023404]
  我々は、ドメイン固有の質問に答えるために、関連文書を含む大規模言語モデルを提供するために、検索型拡張生成システム(RAG)を設計した。 我々は,グリーディスクレーピング戦略を用いて1,800以上のサブページを抽出し,手動とMistralの生成した質問応答ペアを組み合わせたハイブリッドアノテーションプロセスを用いた。 我々のRAGフレームワークはBM25とFAISSレトリバーを統合し、文書検索精度を向上させるリランカで強化した。
  論文  参考訳（メタデータ） (2024-11-20T20:10:43Z)
• ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions [52.33835101586687]
  本研究では,検索した文書が意味的に類似しているように見えるスコープ外質問について検討するが,答えるために必要な情報がない。 本稿では,閉経後の文書から多様なスコープ外質問を自動的に生成するための,幻覚に基づくELOQを提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics [74.28810048824519]
  質問応答に基づく要約評価メトリクスは、QAモデルの予測が正しいかどうかを自動的に判断する必要がある。 筆者らは,現在QAベースのメトリクスで使用されている語彙的回答検証手法と,より洗練された2つのテキスト比較手法をベンチマークした。
  論文  参考訳（メタデータ） (2022-04-21T15:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。