論文の概要: HITgram: A Platform for Experimenting with n-gram Language Models

• arxiv url: http://arxiv.org/abs/2412.10717v1
• Date: Sat, 14 Dec 2024 07:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:11.170724
• Title: HITgram: A Platform for Experimenting with n-gram Language Models
• Title（参考訳）: HITgram: n-gram言語モデルを実験するためのプラットフォーム
• Authors: Shibaranjani Dasgupta, Chandan Maity, Somdip Mukherjee, Rohan Singh, Diptendu Dutta, Debasish Jana,
• Abstract要約: HITgramはn-gramモデル実験のための軽量プラットフォームである。 ユニグラムから4グラムまでをサポートし、コンテキストに敏感な重み付けなどの機能を備えている。 実験では、HITgramの効率を実証し、毎秒50,000トークンを獲得し、320MBコーパスから62秒で2グラムを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large language models (LLMs) are powerful but resource intensive, limiting accessibility. HITgram addresses this gap by offering a lightweight platform for n-gram model experimentation, ideal for resource-constrained environments. It supports unigrams to 4-grams and incorporates features like context sensitive weighting, Laplace smoothing, and dynamic corpus management to e-hance prediction accuracy, even for unseen word sequences. Experiments demonstrate HITgram's efficiency, achieving 50,000 tokens/second and generating 2-grams from a 320MB corpus in 62 seconds. HITgram scales efficiently, constructing 4-grams from a 1GB file in under 298 seconds on an 8 GB RAM system. Planned enhancements include multilingual support, advanced smoothing, parallel processing, and model saving, further broadening its utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力だがリソース集約であり、アクセシビリティを制限している。 HITgramは、リソース制約のある環境に理想的なn-gramモデル実験のための軽量なプラットフォームを提供することによって、このギャップに対処する。 ユニグラムから4グラムまでをサポートし、文脈に敏感な重み付け、ラプラスの平滑化、動的コーパス管理などの機能を組み込んで、見当たらない単語列に対しても、e-hance予測精度を向上する。 実験では、HITgramの効率を実証し、毎秒50,000トークンを獲得し、320MBコーパスから62秒で2グラムを生成する。 HITgramは効率よくスケールし、1GBのファイルから8GBのRAMシステムで298秒未満で4グラムを構成する。 計画された拡張には、多言語サポート、高度なスムーズ化、並列処理、モデルセーブなどが含まれており、その実用性をさらに拡張している。

関連論文リスト

• VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
  我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。 この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。 このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
  論文  参考訳（メタデータ） (2024-06-14T17:59:40Z)
• Low Rank Multi-Dictionary Selection at Scale [5.827700856320355]
  LRMDSという低ランクスパース符号化のための多次元原子選択手法を提案する。 我々は,合成データセットと実世界のデータセットの両方において,LRMDSのスケーラビリティを実証する。
  論文  参考訳（メタデータ） (2024-06-11T05:40:45Z)
• Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens [138.36729703589512]
  神経大言語モデル(LLM)の時代には,$n$-gramの言語モデルがいまだに関係していることを示す。 これは、2つの側面で$n$-gramのLMを近代化することで実現された。まず、ニューラルネットワークLLMと同じデータスケールでトレーニングする -- 5兆トークン。 次に、既存の$n$-gram LMは、そのパフォーマンスを妨げる小さな$n$を使用します。
  論文  参考訳（メタデータ） (2024-01-30T19:03:49Z)
• AmbiGen: Generating Ambigrams from Pre-trained Diffusion Model [23.66918282144914]
  本稿では,大規模な視覚・言語拡散モデルであるDeepFloyd IFを蒸留し,アンビグラムを生成することを提案する。 英語で最も一般的な500語に対して,単語の精度が11.6%以上向上し,編集距離が41.9%以上削減された。
  論文  参考訳（メタデータ） (2023-12-05T18:56:06Z)
• DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning [62.51232333352754]
  テキスト・ツー・イメージ(T2I)世代はここ数年で著しい成長を遂げている。 それにもかかわらず、T2Iモデルでダイアグラムを生成する作業はほとんど行われていない。 本稿では,新しい2段階のテキスト・ツー・ダイアグラム生成フレームワークであるDiagrammerGPTを紹介する。 我々のフレームワークは、既存のT2Iモデルを上回る精度で、より正確なダイアグラムを生成する。
  論文  参考訳（メタデータ） (2023-10-18T17:37:10Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• Joint Adaptive Representations for Image-Language Learning [59.40890927221377]
  画像言語学習のためのレシピを提案し、より大きくて高価なものよりも優れたモデルを作成し、しばしば桁違いに大きなデータセットで訓練する。 我々の重要な発見は、適応的かつ反復的にマルチモーダルな特徴を融合させる、コンパクトな視覚と言語表現の連成学習である。 たった4000万のトレーニング例と39のGFLOPで、私たちの軽量モデルは、2～20倍以上のFLOPの最先端モデルで、さらに大きなデータセットを使用して、1B近くのトレーニング例で何倍もパフォーマンスを上げています。
  論文  参考訳（メタデータ） (2023-05-31T15:02:02Z)
• LexLIP: Lexicon-Bottlenecked Language-Image Pre-Training for Large-Scale Image-Text Retrieval [71.01982683581572]
  従来の高密度検索パラダイムは、デュアルストリームエンコーダを用いて画像やテキストを高密度表現に符号化することに依存している。 本稿では,語彙空間における疎表現を画像やテキストに対して学習する語彙重み付けパラダイムを提案する。 重要度を意識した辞書表現を学習する新しい事前学習フレームワークを提案する。 我々のフレームワークは、検索速度5.5221.3倍、インデックス記憶メモリ13.248.8倍の高速化を実現している。
  論文  参考訳（メタデータ） (2023-02-06T16:24:41Z)
• GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding [46.74457030177477]
  自動シャーディングを用いて,Sparsely-Gated Mixture-of-Expertsを用いた多言語ニューラルネットワーク翻訳トランスフォーマーモデルのスケールアップ方法を示す。 我々は,2048 TPU v3アクセラレーターを4日間で効率的に訓練し,100言語から英語への翻訳において,はるかに優れた品質を実現することを実証した。
  論文  参考訳（メタデータ） (2020-06-30T10:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。