論文の概要: Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs

• arxiv url: http://arxiv.org/abs/2604.03826v1
• Date: Sat, 04 Apr 2026 18:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.78619
• Title: Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
• Title（参考訳）: 文脈事項:LLMを用いた自動ADR生成のための文脈戦略の評価
• Abstract要約: アーキテクチャ決定レコード(ADR)は、システム設計の背後にある理論的根拠を維持する上で重要な役割を果たすが、それらの作成と保守は、関連するオーサリングのオーバーヘッドのために無視されることが多い。 本稿では,Large Language Models(LLM)がこの負担を軽減することができるか,また,歴史的ADRを文脈影響生成品質として提示する戦略がいかに異なるかを検討する。
• 参考スコア（独自算出の注目度）: 1.5578311995704148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Architecture Decision Records (ADRs) play a critical role in preserving the rationale behind system design, yet their creation and maintenance are often neglected due to the associated authoring overhead. This paper investigates whether Large Language Models (LLMs) can mitigate this burden and, more importantly, how different strategies for presenting historical ADRs as context influence generation quality. We curate and validate a large corpus of sequential ADRs drawn from 750 open-source repositories and systematically evaluate five context selection strategies (no context, All-history, First-K, Last-K, and RAFG) across multiple model families. Our results show that context-aware prompting substantially improves ADR generation fidelity, with a small recency window (typically 3-5 prior records) providing the best balance between quality and efficiency. Retrieval-based context selection yields marginal gains primarily in non-sequential or cross-cutting decision scenarios, while offering no statistically significant advantage in typical linear ADR workflows. Overall, our findings demonstrate that context engineering, rather than model scale alone, is the dominant factor in effective ADR automation, and we outline practical defaults for tool builders along with targeted retrieval fallbacks for complex architectural settings.
• Abstract（参考訳）: アーキテクチャ決定レコード(ADR)は、システム設計の背後にある理論的根拠を維持する上で重要な役割を果たすが、それらの作成と保守は、関連するオーサリングのオーバーヘッドのために無視されることが多い。 本稿では,Large Language Models(LLM)がこの負担を軽減することができるか,また,歴史的ADRを文脈影響生成品質として提示する戦略がいかに異なるかを検討する。 750のオープンソースリポジトリから引き出された一連のADRの大規模なコーパスをキュレートし、複数のモデルファミリにまたがる5つのコンテキスト選択戦略(コンテキスト、オールヒストリー、ファースト-K、ラスト-K、RAFG)を体系的に評価する。 以上の結果から,コンテクスト認識によりADR生成精度が大幅に向上し,最小限のリレーレンシウィンドウ(典型的には3～5先行記録)が品質と効率のバランスを保っていることが示唆された。 検索に基づく文脈選択は、典型的線形ADRワークフローにおいて統計的に有意な優位性を提供しながら、主に連続的または横断的な決定シナリオにおいて限界ゲインをもたらす。 全体として、モデルスケールのみではなくコンテキストエンジニアリングが効果的なADR自動化の主要な要因であることを示し、複雑なアーキテクチャ設定の検索フォールバックとともに、ツールビルダーの実用的なデフォルトを概説する。

関連論文リスト

• Structure-Aware RAG: Structured Retrieval Augmented Generation from Noisy Data for Conversational Agents [68.52563127206808]
  SA-RAG(Structure-aware Retrieval Augmented Generation)は、テーブルを中間構造表現として使用して、コンパクトで制御可能なインターフェースを提供する。 メタデータの正規化と有効性をモデル化する品質対応のテーブルメタデータ生成フレームワークを提案する。 2つのノイズの多い実世界のデータセットの実験は、SA-RAGが既存のRAGベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-23T03:07:33Z)
• RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG [0.0]
  Retrieval-Augmented Generation (RAG) は、LLM(Large Language Models)を実際に証明するための重要な手法である。 既存の評価フレームワークは多くの場合、ドメイン固有のニュアンスをキャプチャできないメトリクスに依存します。 本稿では,RAGalystについて紹介する。RAGalystは,ドメイン固有のRAGシステムの厳密な評価を目的とした,人力による自動エージェントフレームワークである。
  論文  参考訳（メタデータ） (2025-11-06T16:22:52Z)
• Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
  キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。 生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:28:25Z)
• Equipping Retrieval-Augmented Large Language Models with Document Structure Awareness [15.810758425275322]
  本稿では,RAGプロセス全体を通して構造情報を明示的に組み込む新しいフレームワークであるRetrieve-DocumentRoute-Read (RDR2)を提案する。 RDR2 は LLM ベースのルータを用いて文書構造木を動的にナビゲートする。 我々の重要な革新は、文書のルーティングをトレーニング可能なタスクとして定式化することであり、自動的なアクションキュレーションと、人間の読書戦略にインスパイアされた構造対応の通路選択である。
  論文  参考訳（メタデータ） (2025-10-05T17:04:24Z)
• Influence Guided Context Selection for Effective Retrieval-Augmented Generation [23.188397777606095]
  Retrieval-Augmented Generation (RAG)は、大きな言語モデル(LLM)の幻覚に対処する。 既存のアプローチは、定義済みのコンテキスト品質評価指標に基づいて、コンテキスト選択によるパフォーマンスの向上を試みる。 我々は、文脈品質評価を推論時データ評価問題として再認識し、文脈影響値(CI値)を導入する。 リストから各コンテキストを除去する際の性能劣化を測定することにより、コンテキスト品質を定量化する。
  論文  参考訳（メタデータ） (2025-09-21T07:19:09Z)
• EvolvR: Self-Evolving Pairwise Reasoning for Story Evaluation to Enhance Generation [17.37840331449749]
  本稿では,ストーリー評価のための自己進化的ペアワイズ推論(EvolvR)フレームワークを提案する。 フレームワークはまず、マルチペルソナ戦略を通じてスコア整合型Chain-of-Thought(CoT)データを自己合成する。 精巧なデータに基づいて訓練された評価器を報奨モデルとして展開し、ストーリー生成タスクを誘導する。
  論文  参考訳（メタデータ） (2025-08-08T06:10:47Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。 TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。