論文の概要: HARP-LoRA: Hierarchy-Conditioned Rank Projection for Low-Rank Adaptation in Scientific Table Understanding

• arxiv url: http://arxiv.org/abs/2610.34589v1
• Date: Sun, 25 Oct 2026 21:40:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.6414
• Title: HARP-LoRA: Hierarchy-Conditioned Rank Projection for Low-Rank Adaptation in Scientific Table Understanding
• Title（参考訳）: HARP-LoRA:科学表理解における低ランク適応のための階層型ランク投影
• Abstract要約: 多レベルヘッダ、マージセル、キャプション、フットノートを含む複雑なレイアウトは、情報の抽出を困難にする。 科学表理解における低ランク適応のための階層条件のランク予測手法であるHARP-LoRAを紹介する。 Llama3.2 3B, Llama3.1 8B, Gemma3 27B を用いて, 587の科学論文およびWikiTableQuestions (WikiTQ) から手作業によるPKテーブルのHARP-LoRAの評価を行った。
• 参考スコア（独自算出の注目度）: 5.4324384158835315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data is widely used in scientific applications, where complex layouts, including multi-level headers, merged cells, captions, and footnotes, make information extraction difficult. This is particularly important in pharmacokinetics (PK), where values must be correctly associated with the drug, species, dose, administration route, unit, and experimental condition. Parameter-efficient fine-tuning methods such as Low-Rank Adaptation (LoRA) reduce adaptation cost but do not explicitly incorporate relationships between table values and surrounding headers. We introduce HARP-LoRA, a hierarchy-conditioned rank projection method for low-rank adaptation in scientific table understanding. HARP-LoRA extends projected LoRA by constructing token-specific intrinsic representations from the row- and column-header hierarchies of each data token. These representations condition the low-rank down-projection, incorporating hierarchical context while keeping the pretrained model and random projection tensors frozen. We evaluate HARP-LoRA on 950 manually annotated PK tables from 587 scientific articles and on WikiTableQuestions (WikiTQ) using Llama~3.2 3B, Llama~3.1 8B, and Gemma~3 27B. With Llama~3.1 8B, HARP-LoRA achieves a PK F1-score of 57.64\% and WikiTQ accuracy of 53.15\%, improving over LoRA by 1.42 and 6.56 points, respectively. With Gemma~3 27B, it achieves the best PK F1-score of 70.63\% and WikiTQ accuracy of 56.87\%. These results use only 172K, 197K, and 547K trainable parameters, far fewer than LoRA and TableLoRA. Overall, conditioning lightweight adapters on table-header hierarchies improves extraction from scientific tables and reasoning over flatter general-domain tables while maintaining parameter efficiency. Code is available at: https://github.com/hosseinsholehrasa/HARP-LoRA
• Abstract（参考訳）: タブラルデータは、多レベルヘッダー、マージセル、キャプション、フットノートを含む複雑なレイアウトが情報の抽出を困難にする科学的な用途で広く利用されている。 これは薬物動態学(PK)において特に重要であり、その値は薬物、種、用量、投与経路、単位、実験条件と正しく関連付けられなければならない。 Low-Rank Adaptation (LoRA)のようなパラメータ効率のよい微調整手法は適応コストを低減させるが、テーブル値と周辺ヘッダの関係を明示的に含まない。 科学表理解における低ランク適応のための階層条件のランク予測手法であるHARP-LoRAを紹介する。 HARP-LoRAは、各データトークンの行および列ヘッダ階層からトークン固有の固有表現を構築することで、投影されたLoRAを拡張している。 これらの表現は低ランクのダウンプロジェクションを条件とし、事前訓練されたモデルとランダムプロジェクションテンソルを凍結させながら階層的コンテキストを取り入れている。 Llama~3.2 3B, Llama~3.1 8B, Gemma~3 27B を用いて, 587の科学論文およびWikiTableQuestions (WikiTQ) から手作業によるPKテーブルのHARP-LoRAの評価を行った。 Llama~3.1 8Bでは、HARP-LoRAは57.64\%のPK F1スコア、WikiTQの精度は53.15\%となり、それぞれ1.42と6.56ポイント向上した。 Gemma~3 27Bでは、最高のPK F1スコアは70.63\%、WikiTQの精度は56.87\%となる。 これらの結果は172K、197K、および547Kのトレーニング可能なパラメータしか使用せず、LoRAやTableLoRAよりもはるかに少ない。 全体として、テーブルヘッダ階層上の軽量アダプタの条件付けは、パラメータ効率を維持しつつ、科学テーブルからの抽出を改善し、よりフラットな汎用ドメインテーブルを推論する。 コードは、https://github.com/hosseinsholehrasa/HARP-LoRAで入手できる。

関連論文リスト

• IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning [8.041472556779395]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 IFCLoRAは、微調整前に適用されたトポロジ対応のランクアロケーション手法である。
  論文  参考訳（メタデータ） (2026-07-24T12:34:46Z)
• FIM-LoRA: Task-Informative Rank Allocation for LoRA via Calibration-Time Gradient-Variance Estimation [0.0]
  低ランク適応(LoRA)は、全ての適応された重み行列に均一なランクを割り当てる。 各LoRA-B行列の勾配分散を層情報化の代用として計算し, 等級予算を比例的に再分配する。 結果として得られるアダプタは、層ごとのランクパターンを持つ標準のLoRAである。
  論文  参考訳（メタデータ） (2026-05-16T04:03:21Z)
• MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
  MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-08T15:13:01Z)
• Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
  Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。 我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
  論文  参考訳（メタデータ） (2026-04-30T12:40:11Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• GraLoRA: Granular Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [13.657093411434511]
  Low-Rank Adaptation (LoRA) は、生成モデルのパラメータ効率の良い微調整(PEFT)の一般的な手法である。 グラニュラーローランド適応(GraLoRA)という新しい構造を導入する。 GraLoRAは重量行列をサブブロックに分割する。
  論文  参考訳（メタデータ） (2025-05-26T06:48:20Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。