論文の概要: Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
- arxiv url: http://arxiv.org/abs/2610.31017v1
- Date: Thu, 22 Oct 2026 09:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.312503
- Title: Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
- Title（参考訳）: ドキュメントレベルのLoRAアダプタでオープンブックスコアを測る方法
- Abstract要約: 単一ドキュメントのLoRAアダプタは、マージして検索する知識の単位として提案されている。
我々はLlama-3.1-8B-Instructで150のウィキペディア記事に対して1つのアダプタを訓練する。
オープンブックのスコアは主に、アダプタが共有する読み込みの振る舞いを測定します。
- 参考スコア（独自算出の注目度）: 24.29060047495061
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Single-document LoRA adapters have been proposed as units of knowledge to be merged and retrieved; yet open-book scoring, with the document in the prompt, can credit a document's own adapter (its specialist) for reading that document as readily as for holding it. Training one adapter for each of 150 Wikipedia articles on Llama-3.1-8B-Instruct, we find that open-book scores mostly measure a reading behaviour every adapter shares: a random adapter trained on another document recovers 82 % of the specialist's open-book advantage over the base model but only 2 % of its advantage on a cloze probe that asks for the same document's facts without providing the source text, a share we cannot distinguish from zero. Content does reach the weights, since the specialists beat the base model in cloze recall by 0.094, and the geometry of their updates follows the documents they read; yet, in a test of 30 queries, adapters chosen by weight-space proximity or text embedding are not distinguishable from random ones on either probe, although that test cannot exclude an advantage of about four fifths of what a query's own adapter gains over a random one. At 16 documents or more, correctly scaled merges recover 87 % to 89 % of the specialists' open-book advantage but only 12 % to 16 % of their cloze advantage, with intervals that run from below zero to at most 32 %, against 94 % for joint training.We also report four silent errors, each of which produced a clean, wrong result.
- Abstract（参考訳）: シングルドキュメントのLoRAアダプタは、マージして検索する知識の単位として提案されているが、オープンブックのスコアリングは、プロンプトで文書のアダプタ(専門家)を、その文書を保持できる限り簡単に読むことができる。
Llama-3.1-8B-Instructで、150のウィキペディア記事に対する1つのアダプタをトレーニングすると、オープンブックスコアは、アダプタが共有するすべての読み取り動作を主に測定していることが分かる。 他のドキュメントでトレーニングされたランダムアダプタは、ベースモデルよりも専門家のオープンブックの利点の82パーセントを回復するが、ソーステキストを提供しずに同じドキュメントの事実を尋ねるクローズプローブにおいて、わずか2%のアドバンテージしか得られない。
しかし、30のクエリのテストでは、重み空間の近接やテキストの埋め込みによって選択されたアダプタは、どちらのプローブ上のランダムなものと区別できないが、クエリ自身のアダプタがランダムに取得したものの4分の4の利点を除外することはできない。
16文書以上では, 専門家のオープンブック優位の87～99%を回復するが, クローゼ優位の12%～16%に過ぎず, ゼロ以下から最大32%までの間隔が, 共同トレーニングでは94%, また, 4つの無声エラーを報告し, それぞれがクリーンで間違った結果となった。
関連論文リスト
- EvoDuet: Bilevel Co-Evolution of Web Searching and Task Solving for Scientific Discovery [60.48731123616876]
EvoDuetは、ソリューションと検索クエリを固定モデルパラメータで共進化させる、双方向最適化手法である。
内部ループはクエリを洗練し、予測されるソリューションスコアによってドキュメントをランク付けする。
外部ループはこれらの文書から並列に候補を生成し、後の検索の結果を記録する。
論文 参考訳（メタデータ） (2026-09-30T17:58:28Z) - HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。
信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。
プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
論文 参考訳（メタデータ） (2026-08-22T06:19:19Z) - Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets [13.85834524293015]
私たちは、ロールが想定する能力を測定し、通常、ロールが配置されるプロトコルの下でそれを欠いていることを見つけます。
モデルは、その候補がセット自体の作者よりもはるかに優れているかどうかを判断する。
論文 参考訳（メタデータ） (2026-08-02T05:00:44Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA [0.0]
LoRAによる4ビットGemma-4-e4bモデルの重みを直接調査する。
アダプタ容量が十分であれば、クローズドブックの精度において、トレーニングデータの品質が支配的なレバーであることが分かりました。
論文 参考訳（メタデータ） (2026-07-23T23:14:59Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters [33.53786556708435]
パラメトリックアダプタ上に構築された最初のフェデレーションRAGフレームワークであるFedMosaicを紹介する。
その結果,FedMosaicの精度は4つのカテゴリの最先端手法よりも平均10.9%高いことがわかった。
論文 参考訳（メタデータ） (2026-02-05T02:52:49Z) - Towards Storage-Efficient Visual Document Retrieval: An Empirical Study on Reducing Patch-Level Embeddings [70.26204343623215]
ColPali/ColQwen2は各ページを複数のパッチレベルの埋め込みにエンコードし、過剰なメモリ使用率をもたらす。
本研究では,ページごとのパッチ埋め込みを最小性能劣化時に低減する方法について検討する。
論文 参考訳（メタデータ） (2025-06-05T13:06:01Z) - LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。
125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。
これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-03-04T15:34:12Z) - Reader-Guided Passage Reranking for Open-Domain Question Answering [103.18340682345533]
シンプルで効果的なパスリランク方式であるReader-guided Reranker(Rider)を提案します。
riderは、トップ1の検索精度で10〜20の絶対的なゲインを達成し、1〜4の正確なマッチ(em)スコアを得る。
RiderはNatural Questionsデータセットで48.3EM、TriviaQAデータセットで66.4を達成し、1,024トークン(平均7.8パス)のみをリーダー入力として使用します。
論文 参考訳（メタデータ） (2021-01-01T18:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。