Fugu-MT 論文翻訳(概要): Small Language Models for Application Interactions: A Case Study

論文の概要: Small Language Models for Application Interactions: A Case Study

arxiv url: http://arxiv.org/abs/2405.20347v1
Date: Thu, 23 May 2024 17:33:32 GMT
ステータス: 処理完了
システム内更新日: 2024-06-09 16:28:54.678985
Title: Small Language Models for Application Interactions: A Case Study
Title（参考訳）: アプリケーションインタラクションのための小さな言語モデル:ケーススタディ
Authors: Beibin Li, Yi Zhang, Sébastien Bubeck, Jeevan Pathuri, Ishai Menache,
Abstract要約: 本研究では,Small Language Models (SLM) の有効性について検討した。我々の実験では、小さなデータセットを微調整しても、精度と実行時間の両方において、小さなモデルの方がはるかに大きなモデルより優れていることが示された。
参考スコア（独自算出の注目度）: 18.65781253357305
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the efficacy of Small Language Models (SLMs) in facilitating application usage through natural language interactions. Our focus here is on a particular internal application used in Microsoft for cloud supply chain fulfilment. Our experiments show that small models can outperform much larger ones in terms of both accuracy and running time, even when fine-tuned on small datasets. Alongside these results, we also highlight SLM-based system design considerations.
Abstract（参考訳）: 本研究では,Small Language Models (SLM) の有効性について検討した。ここでは、クラウドサプライチェーンのフルフィルメントにMicrosoftで使用される特定の内部アプリケーションに焦点を当てています。我々の実験では、小さなデータセットを微調整しても、精度と実行時間の両方において、小さなモデルの方がはるかに大きなモデルより優れていることが示された。これらの結果とともに,SLMに基づくシステム設計の考察も強調する。

関連論文リスト

A Survey of Small Language Models [104.80308007044634]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文参考訳（メタデータ） (2024-10-25T23:52:28Z)
EmbedLLM: Learning Compact Representations of Large Language Models [28.49433308281983]
大規模言語モデルのコンパクトなベクトル表現を学習するためのフレームワークである EmbedLLM を提案する。このような埋め込みを学習するためのエンコーダ-デコーダアプローチと,その有効性を評価するための体系的なフレームワークを導入する。 EmbedLLMはモデルルーティングにおいて,精度とレイテンシの両方において,従来の手法よりも優れていた。
論文参考訳（メタデータ） (2024-10-03T05:43:24Z)
Towards Pareto Optimal Throughput in Small Language Model Serving [4.497936996651617]
SLM(Small Language Models)は、リソース制約のあるユーザに対して、新たな機会を提供する。本研究では,SLM推論を性能およびエネルギーレベルで評価するための一連の実験について述べる。
論文参考訳（メタデータ） (2024-04-04T10:45:07Z)
LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
論文参考訳（メタデータ） (2024-04-03T23:57:34Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-13T16:00:31Z)
Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文参考訳（メタデータ） (2023-01-27T18:59:01Z)
Super-Prompting: Utilizing Model-Independent Contextual Data to Reduce Data Annotation Required in Visual Commonsense Tasks [3.42658286826597]
我々は,言語モデルとマルチモーダル因果変換器モデルの両方における結果を改善するために,異なるプロンプトベースの微調整手法を解析する。以上の結果から,モデルに依存しないインシデントベースの微調整により,微調整データセットの35%～40%のみを用いて,同等の精度で達成できることが示唆された。
論文参考訳（メタデータ） (2022-04-25T18:56:55Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。