論文の概要: inLoRA-MINT: Internal Representations for Auditing Training Data in Domain-adapted LLMs
- arxiv url: http://arxiv.org/abs/2610.18051v1
- Date: Tue, 13 Oct 2026 09:40:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.579351
- Title: inLoRA-MINT: Internal Representations for Auditing Training Data in Domain-adapted LLMs
- Title（参考訳）: inLoRA-MINT:ドメイン適応LLMにおけるトレーニングデータ監査のための内部表現
- Abstract要約: 本研究は,大規模言語モデル (LLM) へのメンバシップ推論テスト (MINT) の適用について検討する。
- 参考スコア（独自算出の注目度）: 15.934462293442792
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This work investigates the application of the Membership Inference Test (MINT) to large language models (LLMs) fine-tuned with LoRA, aiming to determine whether specific samples were used during training and address concerns about data privacy, leakage, and transparency. Building on our previous LoRA-MINT framework, which relies exclusively on perplexity under a strict black-box setting, we propose an approach based on intermediate model representations, including activations and parameter-dependent signals. These representations enable a MINT classifier to distinguish training from non-training samples without requiring full access to model parameters. We evaluated the method on four LLMs (Qwen, Phi-4, DeepSeek-V3, and LLaMA 3.2-3B) fine-tuned on three datasets covering medical, mathematical, and academic reasoning tasks. Results show consistent performance across architectures and domains, achieving scores between 95% and 98%, with robustness to variations in model configurations and data distributions. The proposed approach enables efficient auditing of sensitive training data and supports data provenance and compliance with emerging privacy and AI governance regulations. Although our experiments focus on LoRA-based fine-tuning, the methodology can be extended to other LLM adaptation techniques and, more broadly, to other AI models.
- Abstract（参考訳）: 本研究は,LoRAで微調整された大規模言語モデル(LLM)に対するメンバシップ推論テスト(MINT)の適用について検討し,データプライバシや漏洩,透明性に関する懸念に対処するため,トレーニング中に特定のサンプルが使用されているかどうかを判断する。
厳密なブラックボックス設定下でのパープレキシティのみに依存する従来のLoRA-MINTフレームワークに基づいて,アクティベーションやパラメータ依存信号を含む中間モデル表現に基づくアプローチを提案する。
これらの表現により、MINT分類器は、モデルパラメータへの完全なアクセスを必要とせずに、トレーニングされていないサンプルとトレーニングを区別することができる。
医学的,数学的,学術的な推論タスクを含む3つのデータセットを微調整した4つのLLM(Qwen,Phi-4,DeepSeek-V3,LLaMA 3.2-3B)について検討した。
結果は、アーキテクチャやドメイン間で一貫したパフォーマンスを示し、95%から98%のスコアを獲得し、モデル構成やデータ分散のバリエーションに頑健である。
提案したアプローチは、センシティブなトレーニングデータの効率的な監査を可能にし、新たなプライバシとAIガバナンス規則に対するデータ証明とコンプライアンスをサポートする。
我々の実験はLoRAに基づく微調整に重点を置いているが、この手法は他のLLM適応技術や、より広範に他のAIモデルにも拡張することができる。
関連論文リスト
- Auditing Training Data in Domain-adapted LLMs: LoRA-MINT [15.934462293442792]
LoRA-MINTは,Low-Rank Adaptation (LoRA) を通じてNLPタスクに微調整された最近のLarge Language Models (LLMs) に適用された新しいメンバシップ推論テスト(MINT)手法である。
第一の目的は、個々のサンプルがこれらの適応モデルのトレーニングデータの一部であったかどうかを評価することであり、知的財産権と機密データの管理に有用な監査ツールを提供することである。
論文 参考訳（メタデータ） (2026-06-05T06:19:03Z) - Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models [20.544181414963877]
このサーベイは、命令チューニング戦略の全パイプラインの概要を提供する。
データ構築は、エキスパートアノテーション、より大きなモデルからの蒸留、自己改善メカニズムの3つの主要なパラダイムに分類した。
我々は、自動データ生成、適応最適化、堅牢な評価フレームワークのための有望な方向性について議論する。
論文 参考訳（メタデータ） (2025-08-24T01:51:55Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳（メタデータ） (2025-06-17T17:12:34Z) - Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。
本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
論文 参考訳（メタデータ） (2025-02-05T17:21:01Z) - Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。
本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文 参考訳（メタデータ） (2025-01-08T11:37:06Z) - MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。
既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。
そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
論文 参考訳（メタデータ） (2024-12-06T18:14:24Z) - Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳（メタデータ） (2024-11-21T02:30:53Z) - IDGen: Item Discrimination Induced Prompt Generation for LLM Evaluation [15.895295957106772]
大規模言語モデル(LLMs)を評価するためのID誘発即時合成フレームワークを提案する。
我々のデータ合成フレームワークは、幅と特異性の両方を優先し、LLMの能力を包括的に評価するプロンプトを生成することができる。
我々は、LSMの評価研究を容易にするために、3000以上の慎重に作成されたプロンプトのデータセットをリリースする。
論文 参考訳（メタデータ） (2024-09-27T16:29:12Z) - How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective [29.924482732745954]
既存のアプローチでは、忘れられるべきデータポイントは独立であり、接続性を無視していると仮定している。
構造データセットをコンパイルする手法であるPISTOLを提案する。
論文 参考訳（メタデータ） (2024-06-24T17:22:36Z) - The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。
分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。
LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
論文 参考訳（メタデータ） (2024-05-02T02:20:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。