論文の概要: Little Brains, Big Feats: Exploring Compact Language Models

• arxiv url: http://arxiv.org/abs/2606.30062v1
• Date: Mon, 29 Jun 2026 09:55:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.172341
• Title: Little Brains, Big Feats: Exploring Compact Language Models
• Title（参考訳）: 小さな脳と大きな脂肪: コンパクトな言語モデルを探る
• Authors: Dari Baturova, Elena Bruches, Ivan Chernov, Roman Derunets, Arsenii Fomin, Andrey Kostin,
• Abstract要約: 本研究では,Retrieval-Augmented Generation (RAG)システム内の生成段階において,より小さな言語モデルがどのように機能するかを検討する。 これらのモデルを効果的にベンチマークするために、さまざまな主題領域と質問タイプをカバーするオープンソースのデータセットとプロプライエタリなデータセットを併用した。 この結果から,小さな言語モデルを持つRAGシステムは,適切な時間内にGPUハードウェアを必要とせずにデバイス上で直接実行可能であることがわかった。
• 参考スコア（独自算出の注目度）: 0.09236074230806579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models have been dominating the research landscape recently, small language models remain highly relevant across various domains; yet, they receive far less attention. In this study, we investigate how smaller language models perform during the generation stage within a Retrieval-Augmented Generation (RAG) system. To benchmark these models effectively, we utilised both open-source and proprietary datasets covering diverse subject areas and question types. Our findings demonstrate that a RAG system with small language models can be executed directly on-device without requiring any GPU hardware within a reasonable time. The experimental code and links to the supplementary materials can be accessed through the GitHub repository: https://github.com/SibNN/SLM-RAG-EVAL.
• Abstract（参考訳）: 近年,大規模な言語モデルが研究の現場を支配している一方で,小言語モデルは様々な領域において高い関連性を持ち続けているが,それほど注目されていない。 本研究では,Retrieval-Augmented Generation (RAG)システムにおいて,より小さな言語モデルが生成段階でどのように機能するかを検討する。 これらのモデルを効果的にベンチマークするために、さまざまな主題領域と質問タイプをカバーするオープンソースのデータセットとプロプライエタリなデータセットを併用した。 この結果から,小さな言語モデルを持つRAGシステムは,適切な時間内にGPUハードウェアを必要とせずにデバイス上で直接実行可能であることがわかった。 実験コードと追加資料へのリンクはGitHubリポジトリからアクセスすることができる。

関連論文リスト

• ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting [0.8307668828380427]
  本稿では,2-towerエンコーダモデルが低リソース環境下での1-towerエンコーダよりも優れていることを示す。 また、比較的少ないリソースでエンドツーエンドにトレーニング可能な、コンパクトな視覚言語モデルであるESsENを提示する。
  論文  参考訳（メタデータ） (2026-04-20T16:10:28Z)
• The Role of Exploration Modules in Small Language Models for Knowledge Graph Question Answering [19.009534602200862]
  KGに基づく質問応答におけるSLM(Small Language Model)に対する既存の統合手法の能力について検討する。 この制限に対処するため,単純で効率的な探索モジュールを提案する。 実験により,これらの軽量モジュールは小言語モデルの性能を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2025-09-09T05:26:29Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• UniRAG: Universal Retrieval Augmentation for Large Vision Language Models [76.30799731147589]
  そこで,UniRAGというプラグイン・アンド・プレイ技術を紹介した。 Retrieval Augmentation(RA)は、主に非一般的なエンティティの生成や理解を改善するという一般的な信念とは異なり、MSCOCOデータセットの共通エンティティによる評価結果は、プロプライエタリモデルとより小さなオープンソースモデルの両方が生成品質を著しく向上させることを示している。
  論文  参考訳（メタデータ） (2024-05-16T17:58:45Z)
• Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
  異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。 この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。 この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-04-17T07:10:28Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Are Large Language Models Robust Coreference Resolvers? [17.60248310475889]
  我々は、コア参照のプロンプトが、現在の教師なしコア参照システムより優れていることを示す。 さらなる調査により、命令調整されたLMが驚くほどドメイン、言語、時間にまたがって一般化されることが判明した。
  論文  参考訳（メタデータ） (2023-05-23T19:38:28Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.655375327681774]
  我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。 以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10～20%精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-06T13:58:03Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。