論文の概要: HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs

• arxiv url: http://arxiv.org/abs/2510.07796v1
• Date: Thu, 09 Oct 2025 05:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.87991
• Title: HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs
• Title（参考訳）: HySim-LLM:埋め込み重み付きファインチューニング境界とドメイン適応LDMのマニフォールディング
• Authors: Majid Jaberi-Douraki, Hossein Sholehrasa, Xuan Xu, Remya Ampadi Ramachandran,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト理解と推論において顕著な進歩を遂げた。 埋め込み重み付きファインチューニングと多様体認識デノーミングを統合した,統一的な数学的・計算フレームワークHySim-LLMを提案する。 本研究では,(1)組込み発散下での適応性能を定量化する類似性重み付き一般化境界,(2)ノイズやオフ多様体からの損失寄与を束縛する多様体に基づく記述保証,の2つの理論的結果を確立する。
• 参考スコア（独自算出の注目度）: 2.079369647798082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The extraction and standardization of pharmacokinetic (PK) information from scientific literature remain significant challenges in computational pharmacology, which limits the reliability of data-driven models in drug development. Large language models (LLMs) have achieved remarkable progress in text understanding and reasoning, yet their adaptation to structured biomedical data, such as PK tables, remains constrained by heterogeneity, noise, and domain shift. To address these limitations, we propose HySim-LLM, a unified mathematical and computational framework that integrates embedding-weighted fine-tuning and manifold-aware denoising to enhance the robustness and interpretability of LLMs. We establish two theoretical results: (1) a similarity-weighted generalization bound that quantifies adaptation performance under embedding divergence, and (2) a manifold-based denoising guarantee that bounds loss contributions from noisy or off-manifold samples. These theorems provide a principled foundation for fine-tuning LLMs in structured biomedical settings. The framework offers a mathematically grounded pathway toward reliable and interpretable LLM adaptation for biomedical and data-intensive scientific domains.
• Abstract（参考訳）: 科学文献からの薬物動態(PK)情報の抽出と標準化は、薬物開発におけるデータ駆動モデルの信頼性を制限する計算薬理学において重要な課題である。 大規模言語モデル(LLM)は、テキスト理解と推論において顕著な進歩を遂げているが、PKテーブルのような構造化バイオメディカルデータへの適応は、不均一性、ノイズ、ドメインシフトによって制約されている。 これらの制約に対処するため,LLMの堅牢性と解釈可能性を高めるために,埋め込み重み付き微調整と多様体認識デノジングを統合した統一的な数学的・計算フレームワークHySim-LLMを提案する。 本研究では,(1)組込み発散下での適応性能を定量化する類似性重み付き一般化境界,(2)ノイズやオフ多様体からの損失寄与を束縛する多様体に基づく記述保証,の2つの理論的結果を確立する。 これらの定理は、構造化バイオメディカルセッティングにおける微調整LDMの基礎となる。 このフレームワークは、バイオメディカルおよびデータ集約的な科学領域に対する信頼性と解釈可能なLSM適応への数学的基盤を提供する。

関連論文リスト

• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference [5.052013621974765]
  大言語モデル(LLM)は、表現力と推論能力を持っているが、構造に基づく薬物設計(SBDD)への応用は、タンパク質構造や予測不可能な分子生成の理解が不十分なため制限されている。 本研究では,LLM生成過程を符号化,遅延空間探索,復号化ワークフローとして再解釈するフレームワークであるELILLM(Exploration-Augmented Latent Inference for LLMs)を提案する。 ELILLMは、デコードモジュールを使用して、よく知られた領域を処理し、化学的に有効で合成学的に合理的な分子を生成することで、モデル現在の知識を超えた設計問題の部分を明示的に探求する。
  論文  参考訳（メタデータ） (2026-01-20T08:10:48Z)
• How well can off-the-shelf LLMs elucidate molecular structures from mass spectra using chain-of-thought reasoning? [51.286853421822705]
  大規模言語モデル (LLM) は推論集約的な科学的タスクを約束するが、化学的解釈の能力はまだ不明である。 我々は、分子構造を予測するために、LLMが質量スペクトルデータに対してどのように理由を持つかを評価する、Chain-of-Thought(CoT)プロンプトフレームワークとベンチマークを導入する。 SMILESの妥当性, 式整合性, 構造的類似性の指標による評価の結果, LLMは合成学的に有効で, 部分的に可視な構造を生成できるが, 分子予測の正確性やリンク推論を達成できないことがわかった。
  論文  参考訳（メタデータ） (2026-01-09T20:08:42Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
  機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。 コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。 本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
  論文  参考訳（メタデータ） (2025-10-05T12:35:01Z)
• BioVERSE: Representation Alignment of Biomedical Modalities to LLMs for Multi-Modal Reasoning [0.36855563110245826]
  本稿では,事前学習したBioFMをモダリティエンコーダとして適応する2段階のアプローチであるBIOVERSEを提案する。 このアプローチはまず、各モダリティを共有 LLM 空間に整列する。 次に、マルチモーダルデータによる標準的な命令チューニングを適用して、下流の推論のためにそれらをまとめる。
  論文  参考訳（メタデータ） (2025-10-01T20:07:36Z)
• LLM-based Agents for Automated Confounder Discovery and Subgroup Analysis in Causal Inference [1.1538255621565348]
  本稿では,共同創設者の自動発見とサブグループ分析のための大規模言語モデルに基づくエージェントを提案する。 本フレームワークは,サブグループ識別と構造発見を体系的に行う。 以上の結果から,LSMをベースとしたエージェントは,スケーラブルで信頼性が高く,セマンティックに認識された因果推論へ有望な道をたどることが示唆された。
  論文  参考訳（メタデータ） (2025-08-10T07:45:49Z)
• CANDLE: A Cross-Modal Agentic Knowledge Distillation Framework for Interpretable Sarcopenia Diagnosis [3.0245458192729466]
  CANDLEは、解釈可能性と性能のトレードオフを緩和し、予測精度を高め、高い決定一貫性を維持する。 このフレームワークは、TMLモデルの知識アセット化に対するスケーラブルなアプローチを提供し、サルコピアおよび潜在的に広い医療領域における解釈可能、再現可能、および臨床的に整合した意思決定支援を可能にする。
  論文  参考訳（メタデータ） (2025-07-26T15:50:08Z)
• When can isotropy help adapt LLMs' next word prediction to numerical domains? [53.98633183204453]
  文脈埋め込み空間におけるLLM埋め込みの等方性は表現の基盤構造を保存することが示されている。 実験により、数値データとモデルアーキテクチャの異なる特性が等方性に異なる影響があることが示されている。
  論文  参考訳（メタデータ） (2025-05-22T05:10:34Z)
• PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing [49.243031514520794]
  LLM(Large Language Models)は、テキスト中心の設計のため、長距離信号の取得に優れる。 PhysLLMは最先端の精度とロバスト性を実現し、照明のバリエーションや動きのシナリオにまたがる優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-05-06T15:18:38Z)
• Can LLMs Assist Expert Elicitation for Probabilistic Causal Modeling? [0.0]
  本研究では,構造化因果知識を抽出するための人間専門家の勧誘の代替として,Large Language Models (LLMs) の可能性について検討する。 LLMは因果構造、特にベイズネットワーク(BN)を生成し、従来の統計手法と比較した。 LLMが生成したBNは、専門家によって導かれ統計的に生成されたBNよりも低いエントロピーを示し、予測の信頼性と精度が示唆された。
  論文  参考訳（メタデータ） (2025-04-14T16:45:52Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Disentangled Noisy Correspondence Learning [56.06801962154915]
  クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。 DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
  論文  参考訳（メタデータ） (2024-08-10T09:49:55Z)
• Interpretability from a new lens: Integrating Stratification and Domain knowledge for Biomedical Applications [0.0]
  本稿では, バイオメディカル問題データセットの k-fold cross-validation (CV) への階層化のための新しい計算手法を提案する。 このアプローチはモデルの安定性を改善し、信頼を確立し、トレーニングされたIMLモデルによって生成された結果の説明を提供する。
  論文  参考訳（メタデータ） (2023-03-15T12:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。