論文の概要: Where Should a Document Live: Context, Representations, or Parameters?

• arxiv url: http://arxiv.org/abs/2609.17346v1
• Date: Tue, 15 Sep 2026 15:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.603287
• Title: Where Should a Document Live: Context, Representations, or Parameters?
• Title（参考訳）: ドキュメントはどこに生きるべきか:コンテキスト、表現、パラメータ
• Abstract要約: 表現ベース(KV)とパラメトリック(微細チューニングベース)適応法を比較した。 カートリッジは、ほぼ全てのストレージ予算において最も正確な射出法であり、パラメトリック法を10ポイント上回っている。
• 参考スコア（独自算出の注目度）: 10.793655846877344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To answer questions outside of their pre-training data, large language models (LLMs) need access to new information, which can be presented in the context window as documents, encoded into the model's parameters, or injected as latent representations. However, each of these methods comes with different efficiency, cost, and performance trade-offs, with no single winner. We present a controlled comparison of representation-based (KV-cache based) and parametric (fine-tuning-based) adaptation methods on five knowledge-intensive benchmarks. We show that in the oracle setting, Cartridges (KV) are the most accurate injection method at nearly every storage budget, outperforming parametric methods by 10 points. Compaction (KV) matches Cartridges only at low compression rates, lagging behind the parametric methods by 10 points at rates higher than $50\times$. In the more realistic multi-document retrieval scenario, Cartridges are the only method that matches in-context learning (ICL), leading the parametric methods by 29 points and Compaction by 15 points. Nonetheless, Cartridges are also the only method, besides full fine-tuning and large MLP adapters, that suffers from catastrophic forgetting, i.e., a 6% performance degradation on control benchmarks, with 13% in coding.
• Abstract（参考訳）: 事前トレーニングデータ以外の質問に答えるために、大きな言語モデル(LLM)は、コンテキストウィンドウに文書として表示したり、モデルのパラメータにエンコードしたり、潜在表現として注入したりできる新しい情報にアクセスする必要がある。 しかし、これらの手法にはそれぞれ異なる効率、コスト、パフォーマンスのトレードオフがあり、勝者は一人もいない。 本稿では,5つの知識集約型ベンチマークにおいて,表現ベース(KV-cache)とパラメトリック(微調整ベース)適応法の比較を行った。 オラクル設定では、カートリッジ(KV)は、ほぼ全てのストレージ予算において最も正確な注入法であり、パラメトリック法を10ポイント上回ることを示す。 圧縮(KV)は、カートリッジを低い圧縮速度でのみ一致し、パラメトリックメソッドを50\times$よりも高いレートで10ポイント遅れる。 より現実的なマルチドキュメント検索シナリオでは、カートリッジはテキスト内学習(ICL)にマッチする唯一の手法であり、パラメトリック法を29ポイント、圧縮法を15ポイントリードする。 それにもかかわらず、Cartridgesは完全な微調整と大型のMLPアダプタの他に唯一の方法であり、これは壊滅的な忘れ、すなわち、制御ベンチマークにおける6%のパフォーマンス劣化と13%のコーディングに悩まされている。

関連論文リスト

• Prototype-Based Test-Time Adaptation of Vision-Language Models [58.28899599773308]
  PTA(Prototype-based Test-Time Adaptation) PTAは一連のクラス固有の知識プロトタイプを使用して、テストサンプルから知識を蓄積する。 PTAは最先端の性能を達成しつつ、極めて高い効率を達成する。
  論文  参考訳（メタデータ） (2026-04-23T07:20:56Z)
• MLP Memory: A Retriever-Pretrained Memory for Large Language Models [39.890098399493986]
  NLPRAG Memoryは、明示的なドキュメントアクセスなしに検索パターンを内部化する軽量パラメトリックモジュールである。 我々のアーキテクチャは、このトレーニング済みメモリとトランスフォーマーデコーダを単純な確率で統合し、WikiText-103とWebデータセットでそれぞれ17.5%と24.1%のスケーリングゲインを得る。
  論文  参考訳（メタデータ） (2025-08-03T16:40:53Z)
• 1LoRA: Summation Compression for Very Low-Rank Adaptation [6.00844864296448]
  検討したPEFT法に対して, 線形層毎のパラメータの最小値を微調整する「極低階法」について検討した。 本稿では, 計算, パラメータ, メモリ効率のよい微調整手法である1LoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-11T11:45:20Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Efficient Inference of Sub-Item Id-based Sequential Recommendation Models with Millions of Items [63.117573355917465]
  PQTopKアルゴリズムを用いてRecJPQに基づくモデルの推論効率を改善することができることを示す。 我々は、RecJPQで強化されたSASRecを、元のSASRecの推論手法に比べて4.5倍、RecJPQコードで実装された手法に比べて1.56倍の速度で高速化する。
  論文  参考訳（メタデータ） (2024-08-19T13:43:48Z)
• Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement [24.108008515395458]
  本稿では,CLIP の事前学習知識に対する適応的事前 rEfinement 手法である APE を提案する。 11以上のベンチマークの平均精度では、APEとAPE-Tはいずれも最先端に達し、x30より学習可能なパラメータの少ない16ショットで、それぞれ1.59%、+1.99%で2番目のベットを上回っている。
  論文  参考訳（メタデータ） (2023-04-03T17:58:54Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。