論文の概要: A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs
- arxiv url: http://arxiv.org/abs/2509.05385v1
- Date: Fri, 05 Sep 2025 03:23:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:03.485882
- Title: A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs
- Title（参考訳）: LLMにおけるトリガーガイド型LORA自己適応のための軽量フレームワーク
- Authors: Jiacheng Wei, Faguo Wu, Xiao Zhang,
- Abstract要約: 大規模言語モデルは、推論時に推論中に、継続的に適応し、新しいデータから学習することができない。
本稿では,推論時の推論時に適応的な更新を可能にするトリガ誘導動的微調整フレームワークであるSAGEを紹介する。
評価の結果,SAGEは原子推算サブタスクの精度,堅牢性,安定性に優れていた。
- 参考スコア（独自算出の注目度）: 11.467004828154204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are unable to continuously adapt and learn from new data during reasoning at inference time. To address this limitation, we propose that complex reasoning tasks be decomposed into atomic subtasks and introduce SAGE, a trigger-guided dynamic fine-tuning framework that enables adaptive updates during reasoning at inference time. SAGE consists of three key components: (1) a Trigger module that detects reasoning failures through multiple evaluation metrics in real time; (2) a Trigger Buffer module that clusters anomaly samples using a streaming clustering process with HDBSCAN, followed by stability checks and similarity-based merging; and (3) a Lora Store module that dynamically optimizes parameter updates with an adapter pool for knowledge retention. Evaluation results show that SAGE demonstrates excellent accuracy, robustness, and stability on the atomic reasoning subtask through dynamic knowledge updating during test time.
- Abstract（参考訳）: 大規模言語モデルは、推論時に推論中に、継続的に適応し、新しいデータから学習することができない。
この制限に対処するため、複雑な推論タスクをアトミックなサブタスクに分解し、推論時に適応的な更新を可能にするトリガー誘導動的微調整フレームワークであるSAGEを導入することを提案する。
SAGE は,(1) 複数の評価指標による推論障害をリアルタイムで検出する Trigger モジュール,(2) HDBSCAN によるストリーミングクラスタリングプロセスによるサンプルの異常なクラスタリングを行う Trigger Buffer モジュール,続いて安定性チェックと類似性に基づくマージ,(3) 知識保持のためのアダプタプールによるパラメータ更新を動的に最適化する Lora Store モジュールの3つの主要なコンポーネントから構成される。
評価結果から,SAGEは試験時間における動的知識更新を通じて,原子推論サブタスクに優れた精度,堅牢性,安定性を示すことが示された。
関連論文リスト
- Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳（メタデータ） (2026-02-02T09:14:51Z) - RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。
RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。
ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
論文 参考訳（メタデータ） (2026-01-14T08:04:33Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z) - LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge [31.40589987269264]
近年の知識更新から検索依存ベンチマークを構築するためのパイプラインであるLiveSearchBenchを紹介する。
提案手法は, 連続するウィキデータスナップショット間のデルタを計算し, 品質の3倍をフィルタし, 3段階の推論困難度で自然言語質問を合成する。
実験では、モデルが過去の事前トレーニングの事実に直面すると、パフォーマンスの低下が顕著になる。
論文 参考訳（メタデータ） (2025-11-03T10:00:49Z) - CMT-Bench: Cricket Multi-Table Generation Benchmark for Probing Robustness in Large Language Models [11.167804698594866]
我々は,ライブクリケットによる診断ベンチマークであるCMT-Benchを紹介する。
抽出サマリー,入力長による単調な劣化,実体形変化による一貫した精度低下を伴わない大きな滴が見つかる。
論文 参考訳（メタデータ） (2025-10-20T23:51:28Z) - TAPS : Frustratingly Simple Test Time Active Learning for VLMs [0.0]
テスト時間最適化により、モデルはパラメータをオンザフライで更新することで、推論中に新しいデータに適応できる。
本研究では,不確実なサンプルを適応的にクエリし,動的に更新するテスト時アクティブラーニングフレームワークを提案する。
我々のフレームワークは、自律システムや医療診断などの安全クリティカルなアプリケーションに現実世界を配置するための実用的で効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2025-07-26T18:04:49Z) - LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。
この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文 参考訳（メタデータ） (2025-06-06T05:14:04Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳（メタデータ） (2025-05-28T14:03:02Z) - SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。
SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。
強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
論文 参考訳（メタデータ） (2025-03-25T17:59:57Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - AR-TTA: A Simple Method for Real-World Continual Test-Time Adaptation [1.4530711901349282]
本稿では,自律運転のためのデータセット,すなわちCLAD-CとShiFTを用いたテスト時間適応手法の検証を提案する。
現在のテスト時間適応手法は、ドメインシフトの様々な程度を効果的に扱うのに苦労している。
モデル安定性を高めるために、小さなメモリバッファを組み込むことで、確立された自己学習フレームワークを強化する。
論文 参考訳（メタデータ） (2023-09-18T19:34:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。