論文の概要: Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

• arxiv url: http://arxiv.org/abs/2607.21861v1
• Date: Thu, 23 Jul 2026 23:14:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.012331
• Title: Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA
• Title（参考訳）: 容量以上のデータ品質: ドキュメントを閉書QA用LoRAアダプタに内部化
• Abstract要約: LoRAによる4ビットGemma-4-e4bモデルの重みを直接調査する。 アダプタ容量が十分であれば、クローズドブックの精度において、トレーニングデータの品質が支配的なレバーであることが分かりました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study baking documents directly into the weights of a 4-bit Gemma-4-e4b model via LoRA, so a system can answer questions about a corpus closed-book: no retrieval and no context-window budget. Across roughly 100 training runs from single documents to a 99-document corpus, we find that once adapter capacity is adequate, training-data quality is the dominant lever on closed-book accuracy, outweighing LoRA rank, learning rate, and two alternative architectures combined; capacity itself is a hard gate below which no data intervention helps. A single curation pass (shortening gold answers to canonical 1-6 word spans and dropping trivia) moved closed-book accuracy from 57.7% to 85.7% on a 15-document corpus, a larger jump than any architectural change. We confirm a capacity trend (rank must grow with corpus size) entangled with a coupling between rank and learning rate that we initially misdiagnosed. On a 15-document slice we add a real retrieval baseline: the internalized adapter (84.2% recall) beats a BM25-RAG pipeline with a base reader (58.9%) and even a realistic gold-chunk oracle (65.6%) at lower latency. We report the full arc, including three misdiagnoses, as a case study in debugging LLM training empirically.
• Abstract（参考訳）: そこで,本研究では,4ビットGemma-4-e4bモデルの重みをLoRA経由で直接調査し,コーパスのクローズドブックに関する質問に答える。 1つのドキュメントから99ドキュメントコーパスまで、およそ100のトレーニングが実行され、アダプタのキャパシティが適切であれば、LoRAランク、学習率、および2つの代替アーキテクチャよりも、トレーニングデータの品質が、クローズドブックの正確性において支配的なレバーであることが分かりました。 単一のキュレーションパス(標準的な1-6ワードスパンに対する金の回答を短くし、トリビアを落とす)は、クローズドブックの精度を15文書コーパスで57.7%から85.7%に下げた。 私たちは、ランクと学習率の結合に絡み合ったキャパシティトレンド(ランクはコーパスサイズで成長しなければならない)を確認し、最初に誤診した。 内部アダプタ(84.2%のリコール)は、ベースリーダー(58.9%)とリアルなゴールドチョークオラクル(65.6%)を低レイテンシでBM25-RAGパイプラインに打ち勝つ。 本報告では,3つの誤診を含む全症例について,LLMトレーニングのデバッグを経験的に実施した症例として報告する。

関連論文リスト

• PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
  本稿では、読みを推論から切り離すPARSERを紹介する。 単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。 7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-06T16:19:01Z)
• SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
  再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。 4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
  論文  参考訳（メタデータ） (2026-09-02T07:31:18Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• How Small Can You Go? A Controlled Study of LoRA Rank, Target Modules, and Quantization Trade-offs for Text-to-SQL on a 60M-Parameter Model [0.0]
  r=16のLoRAは11.6パーセントの精度(59.6%対71.2%の精度)で回復し、パラメータの1%未満をトレーニングし、31%のピークGPUメモリを消費する。 INT8 と NF4 の量子化による QLoRA は、メモリコストが劇的に低く (0.60 GB) 、同等の精度 (52.8% と 53.2%) を達成する。
  論文  参考訳（メタデータ） (2026-07-28T11:12:03Z)
• DocAtlas: Long-Document Understanding as Mutable-State Interaction [67.90400271544678]
  本稿では,長期文書理解を可変状態情報探索プロセスとして扱うDocAtlasを提案する。 ドキュメントと質問が与えられた後、DocAtlasは検索、読み取り、メモ取り、レビューツールを公開し、階層的なツリーとノートストアを維持し、エージェントが証拠を記録するように更新する。 GPT-5.4では、DocAtlasはMMLongBench-Docで71.4%に達し、65.8%という人間の専門的基準を超えた。
  論文  参考訳（メタデータ） (2026-07-21T09:45:34Z)
• What Survives Into Context: A Diagnostic for Budget-Constrained Multi-Hop RAG and When Submodular Evidence Packing Improves It [0.0]
  文書のリコールは、固定された読者コンテキスト予算で最適化するのに間違った量である、と我々は主張する。 本報告では,ゴールドの回答が,読解コンテキストの連続したスパンとして存続するかどうかを判定する診断手法である「in-in-context」を導入する。 i)マルチホップ補完構造、(ii)エビデンスを表わす検索、(iii)バインドだが極端な予算ではない検索、(iv)読み出し能力ではなく、証拠密度がボトルネックとなるほど弱くなること。
  論文  参考訳（メタデータ） (2026-07-01T10:12:15Z)
• Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
  DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。 LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。 12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
  論文  参考訳（メタデータ） (2026-06-17T07:44:04Z)
• Towards Retrieving Interaction Spaces for Agentic Search [62.666902610940525]
  最近の直接コーパス(DCI)の研究は、エージェントが5.4のインタラクションやファイル読み取りといったシェルツールを通じて生コーパスと対話できることを示している。 エージェント検索における検索の役割は, LLMコンテキストウィンドウに適合する文書を選択することだけではなく, インタラクション空間を構築することにある。
  論文  参考訳（メタデータ） (2026-06-05T03:47:40Z)
• WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems [0.0]
  我々は17のRepLiQAドメイン間のコンパイルギャップを特徴付ける(6,800の質問)。 本稿では,このギャップを埋める反例誘導抽象化改良(CEGAR)にインスパイアされた反復アルゴリズムであるWiCERを提案する。 全17項目のアブレーションにより、汎用ピンニング(+0.16)ではなく、ターゲット診断(+0.95)がゲインを駆動していることが確認された。
  論文  参考訳（メタデータ） (2026-05-08T00:25:16Z)
• The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation [6.290180827867576]
  ハイパーネットワークベースの手法は、文書を単一のフォワードパスで LLM の重みに内部化する。 この文書が事前訓練された知識と矛盾すると、最も深い事実について精度は46.4%に低下する。 失敗は表現的問題というよりも,大問題であることを示す。
  論文  参考訳（メタデータ） (2026-04-26T14:59:14Z)
• Knows: Agent-Native Structured Research Representations [5.037922001284019]
  私たちは、構造化されたクレーム、証拠、証明、および既存の研究成果物との関係を束縛する軽量仕様であるKnowsを紹介します。 Knowsは、オリジナルのPDFと共存する薄いYAMLサイドカーとのギャップに対処し、パブリッシュ自体の変更を必要とせず、決定論的スキーマlinterで検証する。 本研究は, PDFのみ, サイドカーのみ, ハイブリット条件を比較検討し, 14の学術分野にまたがる20の論文を対象とした140の理解的質問に対する知識の評価を行った。
  論文  参考訳（メタデータ） (2026-04-19T07:53:52Z)
• DeepBridge: A Unified and Production-Ready Framework for Multi-Dimensional Machine Learning Validation [0.0]
  DeepBridgeは80Kline Pythonライブラリで、バリデーション、自動コンプライアンス検証知識蒸留、合成データ生成を統合する。 DeepBridge: 検証時間を89%削減する(断片化されたツールで150分に対して150分)。
  論文  参考訳（メタデータ） (2025-12-18T01:32:32Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• ReasonIR: Training Retrievers for Reasoning Tasks [139.54343970560103]
  ReasonIR-8Bは一般的な推論タスクのために特別に訓練された最初のレトリバーである。 新たに29.9 nDCG@10をリランカなしで、36.9 nDCG@10をリランカで達成している。
  論文  参考訳（メタデータ） (2025-04-29T09:49:28Z)
• LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs [48.8849121506693]
  従来のRAGフレームワークでは、基本的な検索ユニットは通常短い。 不均衡なヘビーレトリバーとライトのリーダー設計は、準最適性能をもたらす可能性がある。 ロングレトリバーとロングリーダで構成される新しいフレームワークであるLongRAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T17:23:21Z)
• LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
  自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。 125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。 これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-03-04T15:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。