論文の概要: SMART SLM: Structured Memory and Reasoning Transformer, A Small Language Model for Accurate Document Assistance

• arxiv url: http://arxiv.org/abs/2512.21280v1
• Date: Wed, 24 Dec 2025 16:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-25 19:43:21.832415
• Title: SMART SLM: Structured Memory and Reasoning Transformer, A Small Language Model for Accurate Document Assistance
• Title（参考訳）: SMART SLM:構造化記憶・推論変換器
• Authors: Divij Dudeja, Mayukha Pal,
• Abstract要約: SMART(Structured Memory and Reasoning Transformer)はその処理を階層的アプローチを用いて構成する。 全SMARTモデルは45.51Mパラメータを使用し、GPT-2 (124M) より64%、BERT (133M) より69%少ない。
• 参考スコア（独自算出の注目度）: 0.34376560669160394
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The user of Engineering Manuals (EM) finds it difficult to read EM s because they are long, have a dense format which includes written documents, step by step procedures, and standard parameter lists for engineering equipment. Off the shelf transformers, especially compact ones, treat this material as a flat stream of tokens. This approach leads to confident but incorrect numeric answers and forces the models to memorize separate facts inefficiently. SMART (Structured Memory and Reasoning Transformer) offers a different and practical solution to the above problem. SMART structures its processing by using a hierarchical approach, and is based upon three main job categories (1) A syntax-aware Fact Extractor (Grammarian) Tree LSTM which extracts facts as subject relation object relations from EM sentences (2) A compact indexed memory MANN (Memory Augmented Neural Network) that indexes these Rational Subject Relation Objects as 384 dimensional vectors that are associated with the source of the information, and (3) A 6 layer Transformer that learns to fuse the previously retrieved facts into its generated response. The entire SMART model utilizes 45.51M parameters, which is 64% less than GPT-2 (124M) and 69% less than BERT (133M), and it achieves a 21.3% higher accuracy than GPT-2, indicating that SMART fits the data better with the least amount of processing requirements. SMART employs dual modes of inference an indexed fast path for known documents (sub-second answer times) and an indexed dynamic path assisted by RAGs for new uploads (FAISS Top 20 results with memory severed at 64 slots). In real world deployment, this framework leads to more well supported results with reduced hallucinations than comparable small transformer models.
• Abstract（参考訳）: Engineering Manuals (EM) のユーザは、長いので EM を読みにくく、文書、ステップバイステッププロシージャ、エンジニアリング機器の標準パラメータリストを含む、密集したフォーマットを持っている。 シェルフトランス、特にコンパクトなものは、この材料を平らなトークンストリームとして扱う。 このアプローチは自信があるが誤った数値的な答えをもたらし、モデルに異なる事実を非効率に記憶させるよう強制する。 SMART(Structured Memory and Reasoning Transformer)は、上記の問題に対して異なる実用的な解決策を提供する。 SMARTはその処理を階層的アプローチを用いて構成し,次の3つの主要なジョブカテゴリに基づく。(1) EM文から事実を対象関係オブジェクト関係として抽出する構文認識Fact Extractor (Grammarian) Tree LSTM (2) 情報ソースに関連付けられた384次元ベクトルとしてこれらのRational Subject Relation Objectをインデックス化するコンパクトインデックスメモリMANN (Memory Augmented Neural Network) と(3) 得られた事実を生成応答に融合させる6層トランスフォーマー。 SMARTモデル全体のパラメータは45.51Mであり、GPT-2 (124M) より64%、BERT (133M) より69%少ない。 SMARTは、既知の文書(秒未満の応答時間)に対するインデックス付き高速パスと、RAGが新しいアップロードのために支援するインデックス付き動的パスを2つのモードで推論する(FAISSトップ20は64スロットでメモリを切断した)。 現実世界のデプロイメントでは、このフレームワークは、同等の小さなトランスフォーマーモデルよりも幻覚を減らして、よりよくサポートされた結果をもたらす。

関連論文リスト

• Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions [55.19217798774033]
  メモリは、大規模言語モデル(LLM)ベースのエージェントを支える、AIシステムの基本コンポーネントである。 本稿ではまず,メモリ表現をパラメトリックおよびコンテキスト形式に分類する。 次に、コンソリデーション、更新、インデックス付け、フォッティング、検索、圧縮の6つの基本的なメモリ操作を紹介します。
  論文  参考訳（メタデータ） (2025-05-01T17:31:33Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。 本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。 我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• LM2: Large Memory Models [11.320069795732058]
  本稿では,補助メモリモジュールで拡張されたデコーダのみのトランスフォーマーアーキテクチャであるLarge Memory Model (LM2)を紹介する。 BABILongベンチマークの実験結果によると、LM2モデルはメモリ拡張RTTモデルとベースラインのLlama-3.2モデルの両方を平均86.3%上回っている。
  論文  参考訳（メタデータ） (2025-02-09T22:11:42Z)
• CMT: A Memory Compression Method for Continual Knowledge Learning of Large Language Models [22.93893181000535]
  大規模言語モデル(LLM)は、データ、タスク、ユーザの好みの継続的な変更に適応する必要がある。 本稿では,これらの課題に対処するため,圧縮記憶訓練(CMT)法を提案する。 CMTは、メモリバンクに格納される新しい文書から情報を圧縮して抽出する。 これらの新しいドキュメントに関する問い合わせに答えると、モデルはこれらのドキュメントの記憶をメモリバンクから集約し、ユーザーの質問に答える。
  論文  参考訳（メタデータ） (2024-12-10T10:35:19Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• Mem-Rec: Memory Efficient Recommendation System using Alternative Representation [6.542635536704625]
  MEM-RECは、テーブルを埋め込むための新しい代替表現手法である。 MEM-RECはレコメンデーション品質を維持するだけでなく、埋め込み遅延を改善することができる。
  論文  参考訳（メタデータ） (2023-05-12T02:36:07Z)
• An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks [40.81306982129298]
  パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。 効率的なメモリ拡張トランス(EMAT)を提案する。 外部の知識をキーバリューメモリにエンコードし、メモリクエリの高速な最大内部製品検索を利用する。
  論文  参考訳（メタデータ） (2022-10-30T08:34:49Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• Transformer Memory as a Differentiable Search Index [102.41278496436948]
  本稿では,文字列クエリを関連するドシデントに直接マップするテキストからテキストモデルを学ぶ新しいパラダイムであるdiffariable Search Index (DSI)を紹介する。 文書とその識別子の表現方法、訓練手順のバリエーション、モデルとコーパスサイズ間の相互作用について検討する。
  論文  参考訳（メタデータ） (2022-02-14T19:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。