論文の概要: Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs

• arxiv url: http://arxiv.org/abs/2604.03826v1
• Date: Sat, 04 Apr 2026 18:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.78619
• Title: Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
• Title（参考訳）: 文脈事項:LLMを用いた自動ADR生成のための文脈戦略の評価
• Authors: Aviral Gupta, Rudra Dhar, Daniel Feitosa, Karthik Vaidhyanathan,
• Abstract要約: アーキテクチャ決定レコード(ADR)は、システム設計の背後にある理論的根拠を維持する上で重要な役割を果たすが、それらの作成と保守は、関連するオーサリングのオーバーヘッドのために無視されることが多い。 本稿では,Large Language Models(LLM)がこの負担を軽減することができるか,また,歴史的ADRを文脈影響生成品質として提示する戦略がいかに異なるかを検討する。
• 参考スコア（独自算出の注目度）: 1.5578311995704148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Architecture Decision Records (ADRs) play a critical role in preserving the rationale behind system design, yet their creation and maintenance are often neglected due to the associated authoring overhead. This paper investigates whether Large Language Models (LLMs) can mitigate this burden and, more importantly, how different strategies for presenting historical ADRs as context influence generation quality. We curate and validate a large corpus of sequential ADRs drawn from 750 open-source repositories and systematically evaluate five context selection strategies (no context, All-history, First-K, Last-K, and RAFG) across multiple model families. Our results show that context-aware prompting substantially improves ADR generation fidelity, with a small recency window (typically 3-5 prior records) providing the best balance between quality and efficiency. Retrieval-based context selection yields marginal gains primarily in non-sequential or cross-cutting decision scenarios, while offering no statistically significant advantage in typical linear ADR workflows. Overall, our findings demonstrate that context engineering, rather than model scale alone, is the dominant factor in effective ADR automation, and we outline practical defaults for tool builders along with targeted retrieval fallbacks for complex architectural settings.
• Abstract（参考訳）: アーキテクチャ決定レコード(ADR)は、システム設計の背後にある理論的根拠を維持する上で重要な役割を果たすが、それらの作成と保守は、関連するオーサリングのオーバーヘッドのために無視されることが多い。 本稿では,Large Language Models(LLM)がこの負担を軽減することができるか,また,歴史的ADRを文脈影響生成品質として提示する戦略がいかに異なるかを検討する。 750のオープンソースリポジトリから引き出された一連のADRの大規模なコーパスをキュレートし、複数のモデルファミリにまたがる5つのコンテキスト選択戦略(コンテキスト、オールヒストリー、ファースト-K、ラスト-K、RAFG)を体系的に評価する。 以上の結果から,コンテクスト認識によりADR生成精度が大幅に向上し,最小限のリレーレンシウィンドウ(典型的には3～5先行記録)が品質と効率のバランスを保っていることが示唆された。 検索に基づく文脈選択は、典型的線形ADRワークフローにおいて統計的に有意な優位性を提供しながら、主に連続的または横断的な決定シナリオにおいて限界ゲインをもたらす。 全体として、モデルスケールのみではなくコンテキストエンジニアリングが効果的なADR自動化の主要な要因であることを示し、複雑なアーキテクチャ設定の検索フォールバックとともに、ツールビルダーの実用的なデフォルトを概説する。

関連論文リスト

• RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG [0.0]
  Retrieval-Augmented Generation (RAG) は、LLM(Large Language Models)を実際に証明するための重要な手法である。 既存の評価フレームワークは多くの場合、ドメイン固有のニュアンスをキャプチャできないメトリクスに依存します。 本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。
  論文  参考訳（メタデータ） (2025-11-06T16:22:52Z)
• Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
  キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。 生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:28:25Z)
• Equipping Retrieval-Augmented Large Language Models with Document Structure Awareness [15.810758425275322]
  本稿では,RAGプロセス全体を通して構造情報を明示的に組み込む新しいフレームワークであるRetrieve-DocumentRoute-Read (RDR2)を提案する。 RDR2 は LLM ベースのルータを用いて文書構造木を動的にナビゲートする。 我々の重要な革新は、文書のルーティングをトレーニング可能なタスクとして定式化することであり、自動的なアクションキュレーションと、人間の読書戦略にインスパイアされた構造対応の通路選択である。
  論文  参考訳（メタデータ） (2025-10-05T17:04:24Z)
• Influence Guided Context Selection for Effective Retrieval-Augmented Generation [23.188397777606095]
  Retrieval-Augmented Generation (RAG)は、大きな言語モデル(LLM)の幻覚に対処する。 既存のアプローチは、定義済みのコンテキスト品質評価指標に基づいて、コンテキスト選択によるパフォーマンスの向上を試みる。 我々は、文脈品質評価を推論時データ評価問題として再認識し、文脈影響値(CI値)を導入する。 リストから各コンテキストを除去する際の性能劣化を測定することにより、コンテキスト品質を定量化する。
  論文  参考訳（メタデータ） (2025-09-21T07:19:09Z)
• EvolvR: Self-Evolving Pairwise Reasoning for Story Evaluation to Enhance Generation [17.37840331449749]
  本稿では,ストーリー評価のための自己進化的ペアワイズ推論(EvolvR)フレームワークを提案する。 フレームワークはまず、マルチペルソナ戦略を通じてスコア整合型Chain-of-Thought(CoT)データを自己合成する。 精巧なデータに基づいて訓練された評価器を報奨モデルとして展開し、ストーリー生成タスクを誘導する。
  論文  参考訳（メタデータ） (2025-08-08T06:10:47Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。