論文の概要: Penrose Tiled Low-Rank Compression and Section-Wise Q&A Fine-Tuning: A General Framework for Domain-Specific Large Language Model Adaptation

• arxiv url: http://arxiv.org/abs/2503.22074v1
• Date: Fri, 28 Mar 2025 01:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:32:34.456371
• Title: Penrose Tiled Low-Rank Compression and Section-Wise Q&A Fine-Tuning: A General Framework for Domain-Specific Large Language Model Adaptation
• Title（参考訳）: Penrose Tiled Low-Rank Compression and Section-Wise Q&A Fine-Tuning: A General Framework for Domain-Specific Large Language Model Adaptation
• Authors: Chuan-Wei Kuo, Siyu Chen, Chenqi Yan, Yu Yang Fredrik Liu,
• Abstract要約: 大規模言語モデル(LLM)は、材料科学のような専門的な科学分野に対して大きな約束を持っている。 本稿では,この課題に対処するために,構造化モデル圧縮と科学的微調整システムを組み合わせた2段階のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.161207910629032
• License:
• Abstract: Large language models (LLMs) hold great promise for specialized scientific domains such as materials science, yet adapting them efficiently and accurately to domain-specific knowledge remains challenging due to limited data and high knowledge density. We propose a two-stage framework that combines structured model compression with a scientific fine-tuning regimen to address this challenge. In the compression stage, we decompose the LLM's weight matrices into local low-rank "rank blocks" and arrange these blocks in a Penrose-like non-periodic tiling pattern. Each block is then compacted via spectral transformations (e.g., discrete cosine or Fourier transforms), and a Kullback-Leibler (KL) divergence-based alignment loss preserves the distributional similarity between the compressed model's representations and those of the original full model. In the adaptation stage, the compressed model is further tuned using a human-like scientific reading protocol: it processes technical materials science documents section by section, engaging in a structured question-and-answer routine for each section. This section-wise Q&A fine-tuning strategy extracts explicit reasoning traces and gradually injects domain knowledge, while minimizing catastrophic forgetting of the model's general language capabilities. By balancing efficient compression with targeted adaptation, our two-stage approach enables precise specialization of LLMs to high-value domains under data-scarce conditions. We present this principled yet exploratory pipeline and outline its potential for advancing materials science knowledge integration, laying the groundwork for comprehensive empirical evaluation in future work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、材料科学のような専門的な科学領域に対して大きな期待を持っているが、それを効率的に正確にドメイン固有の知識に適応させることは、限られたデータと高い知識密度のために難しいままである。 本稿では,この課題に対処するために,構造化モデル圧縮と科学的微調整システムを組み合わせた2段階のフレームワークを提案する。 圧縮段階において、LLMの重み行列を局所的な低ランクの「ランクブロック」に分解し、これらのブロックをペンローズのような非周期的タイリングパターンに配置する。 それぞれのブロックはスペクトル変換(例えば離散コサインやフーリエ変換)によってコンパクト化され、クルバック・リーブラー(KL)の発散に基づくアライメント損失は、圧縮されたモデルの表現と元の完全モデルの表現との分布的類似性を保存する。 適応段階では、圧縮されたモデルは、人のような科学的読解プロトコルを用いてさらに調整され、技術資料科学文書をセクションごとに処理し、各セクションに対して構造化された質問・回答ルーチンを実行する。 このセクションワイズQ&Aファインチューニング戦略は、明確な推論トレースを抽出し、ドメイン知識を徐々に注入すると同時に、モデルの汎用言語能力の破滅的な忘れを最小化する。 目的適応と効率的な圧縮のバランスをとることによって,データスカース条件下でのLLMを高値領域に正確に特殊化することが可能となる。 本稿は,本研究の原則である探索パイプラインについて述べるとともに,今後の研究における総合的な経験的評価の基盤となる材料知識統合の進展の可能性について概説する。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Language Models as Hierarchy Encoders [22.03504018330068]
  階層変換器エンコーダ(HiTs)として再学習トランスフォーマーエンコーダを用いたLMを提案する。 本手法は, 埋込次元に適応する曲率を持つポアンカー球内に, 予め学習したLMの出力埋め込み空間を定めている。 予め訓練したLM, 標準微調整されたLM, およびいくつかの双曲埋め込みベースラインに対するHiTsの評価を行った。
  論文  参考訳（メタデータ） (2024-01-21T02:29:12Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• COST-EFF: Collaborative Optimization of Spatial and Temporal Efficiency with Slenderized Multi-exit Language Models [16.586312156966635]
  トランスフォーマーベースの事前訓練言語モデル(PLM)は、高い能力にもかかわらず過度のオーバーヘッドに悩まされている。 既存の静的圧縮モデルは、入力インスタンス間の様々な複雑さに気づいていない。 静的モデル圧縮と動的推論アクセラレーションを統合したPLMの協調最適化を提案する。
  論文  参考訳（メタデータ） (2022-10-27T15:06:40Z)
• Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics [21.95240820041655]
  変分オート(VAE)は、エンコーダとデコーダのネットワークペアをトレーニングデータ分散の再構築のために訓練する生成モデルである。 本研究では, 深部生成モデルの潜伏空間が, 構造的および化学的特徴をエンコードできるかどうかを計測する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-18T13:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。