論文の概要: One Filters All: A Generalist Filter for State Estimation

• arxiv url: http://arxiv.org/abs/2509.20051v1
• Date: Wed, 24 Sep 2025 12:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.805559
• Title: One Filters All: A Generalist Filter for State Estimation
• Title（参考訳）: One Filters All: 状態推定のためのジェネリストフィルタ
• Authors: Shiqi Liu, Wenhan Cao, Chang Liu, Zeyu He, Tianyi Zhang, Shengbo Eben Li,
• Abstract要約: 我々は,大規模言語モデル (LLM) を利用して状態推定を行う汎用フィルタリングフレームワーク textbfLLM-Filter を提案する。 まず、状態推定は、事前学習されたLLMに埋め込まれた推論知識の恩恵を受けることができる。 これらのプロンプトによって導かれ、LLM-Filterは例外的な一般化を示し、変化した環境や目に見えない環境で正確にフィルタリングタスクを実行することができる。
• 参考スコア（独自算出の注目度）: 25.24016738448608
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Estimating hidden states in dynamical systems, also known as optimal filtering, is a long-standing problem in various fields of science and engineering. In this paper, we introduce a general filtering framework, \textbf{LLM-Filter}, which leverages large language models (LLMs) for state estimation by embedding noisy observations with text prototypes. In various experiments for classical dynamical systems, we find that first, state estimation can significantly benefit from the reasoning knowledge embedded in pre-trained LLMs. By achieving proper modality alignment with the frozen LLM, LLM-Filter outperforms the state-of-the-art learning-based approaches. Second, we carefully design the prompt structure, System-as-Prompt (SaP), incorporating task instructions that enable the LLM to understand the estimation tasks. Guided by these prompts, LLM-Filter exhibits exceptional generalization, capable of performing filtering tasks accurately in changed or even unseen environments. We further observe a scaling-law behavior in LLM-Filter, where accuracy improves with larger model sizes and longer training times. These findings make LLM-Filter a promising foundation model of filtering.
• Abstract（参考訳）: 最適フィルタリングとしても知られる力学系における隠れ状態の推定は、科学や工学の様々な分野における長年の問題である。 本稿では,大規模言語モデル(LLM)を利用して,テキストプロトタイプによる雑音観測を組み込んだ状態推定を行う汎用フィルタリングフレームワークである \textbf{LLM-Filter を提案する。 古典力学系に対する様々な実験において、まず、状態推定は事前学習されたLLMに埋め込まれた推論知識から大きな恩恵を受けることが判明した。 凍結したLLMと適切なモダリティアライメントを達成することで、LLM-Filterは最先端の学習ベースアプローチよりも優れる。 第2に,システム・アズ・プロンプト(SaP)のプロンプト構造を慎重に設計し,LLMが推定タスクを理解できるようにするタスク命令を組み込んだ。 これらのプロンプトによって導かれ、LLM-Filterは例外的な一般化を示し、変化した環境や目に見えない環境で正確にフィルタリングタスクを実行することができる。 LLM-Filterでは,モデルサイズが大きく,トレーニング時間が長くなることにより,精度が向上する。 これらの結果からLLM-Filterはフィルタの基礎モデルとして期待できる。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
  Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。 チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-25T14:07:53Z)
• Training of Scaffolded Language Models with Language Supervision: A Survey [62.59629932720519]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• Filtered not Mixed: Stochastic Filtering-Based Online Gating for Mixture of Large Language Models [18.368001176275364]
  MoE-Fは、オンライン時系列予測に$N$事前訓練された大規模言語モデル(LLM)を組み合わせるための形式化されたメカニズムである。 我々のメカニズムは,各専門家のランニング性能の条件情報を利用して,次のステップで時系列を予測するためのLLMの最適な組み合わせを予測する。
  論文  参考訳（メタデータ） (2024-06-05T05:53:50Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Machine learning-based conditional mean filter: a generalization of the ensemble Kalman filter for nonlinear data assimilation [42.60602838972598]
  スパース観測に基づく非線形ダイナミクスを持つ高次元非ガウス状態モデルを追跡する機械学習ベースのアンサンブル条件付き平均フィルタ(ML-EnCMF)を提案する。 提案手法は条件付き期待値に基づいて開発され,機械学習(ML)技術とアンサンブル法を組み合わせて数値的に実装されている。
  論文  参考訳（メタデータ） (2021-06-15T06:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。