論文の概要: NinjaLLM: Fast, Scalable and Cost-effective RAG using Amazon SageMaker and AWS Trainium and Inferentia2
- arxiv url: http://arxiv.org/abs/2407.12057v1
- Date: Thu, 11 Jul 2024 05:04:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-07-18 21:28:12.169001
- Title: NinjaLLM: Fast, Scalable and Cost-effective RAG using Amazon SageMaker and AWS Trainium and Inferentia2
- Title（参考訳）: NinjaLLM: Amazon SageMakerとAWS TrainiumとInferentia2を使用した高速でスケーラブルで費用対効果の高いRAG
- Authors: Tengfei Xue, Xuefeng Li, Roman Smirnov, Tahir Azim, Arash Sadrieh, Babak Pahlavan,
- Abstract要約: 本稿では,従来のRAG技術の改良について述べる。
私たちは、SageMakerを介してAWS TrainiumとInferentia2 AIチップに微調整され、ホストされる、大規模言語モデル(LLM)に焦点を当てています。
我々はRAGシステムの性能をNatural QuestionsとHotPotQAデータセットでベンチマークし、それぞれ62%と59%の精度を達成した。
- 参考スコア（独自算出の注目度）: 1.9980199776038812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) techniques are widely used today to retrieve and present information in a conversational format. This paper presents a set of enhancements to traditional RAG techniques, focusing on large language models (LLMs) fine-tuned and hosted on AWS Trainium and Inferentia2 AI chips via SageMaker. These chips are characterized by their elasticity, affordability, and efficient performance for AI compute tasks. Besides enabling deployment on these chips, this work aims to improve tool usage, add citation capabilities, and mitigate the risks of hallucinations and unsafe responses due to context bias. We benchmark our RAG system's performance on the Natural Questions and HotPotQA datasets, achieving an accuracy of 62% and 59% respectively, exceeding other models such as DBRX and Mixtral Instruct.
- Abstract（参考訳）: 検索拡張生成(RAG)技術は、現在、会話形式で情報を検索し提示するために広く使われている。
本稿では,AWS TrainiumとInferentia2のAIチップをSageMaker経由でホストする大規模言語モデル(LLM)に焦点を当て,従来のRAG技術の一連の拡張について述べる。
これらのチップは、その弾力性、手頃さ、AI計算タスクの効率的なパフォーマンスによって特徴付けられる。
この作業は、これらのチップへのデプロイを可能にすることに加えて、ツールの使用方法の改善、引用機能の追加、およびコンテキストバイアスによる幻覚や安全でない応答のリスクを軽減することを目的としている。
我々はRAGシステムの性能をNatural QuestionsとHotPotQAデータセットでベンチマークし、それぞれ62%と59%の精度を達成し、DBRXやMixtral Instructといった他のモデルを上回った。
関連論文リスト
- AI Generated Text Detection [0.0]
本稿では,従来の機械学習モデルとトランスフォーマーベースアーキテクチャの両方を含む,AIテキスト検出手法の評価を行う。
我々は、HC3とDAIGT v2という2つのデータセットを使用して、統一されたベンチマークを構築し、情報漏洩を防止するためにトピックベースのデータ分割を適用する。
その結果、文脈モデリングは語彙的特徴よりもはるかに優れていることが示され、話題記憶の緩和の重要性が強調された。
論文 参考訳（メタデータ） (2026-01-07T11:18:10Z) - Synthetic Industrial Object Detection: GenAI vs. Feature-Based Methods [5.278929538141005]
我々は、特徴ベースの手法、生成AI(GenAI)、古典的なレンダリングアプローチを含む、ドメインランダム化(DR)およびドメイン適応(DA)テクニックをベンチマークする。
本評価では,低レベルの特徴アライメントと高レベルの特徴アライメントの有効性,および実世界の文脈から生成されたプロンプトによって誘導される拡散に基づくDA法について検討する。
その結果、十分な可変性を持つレンダリングベースデータが、輝度ベースや知覚的ハッシュフィルタリングといったよりシンプルな特徴ベースのメソッドとして利用可能である場合、精度と資源効率の両方においてより複雑なGenAIベースのアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-11-28T14:51:08Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳（メタデータ） (2025-11-07T16:08:34Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - OmniBench-RAG: A Multi-Domain Evaluation Platform for Retrieval-Augmented Generation Tools [0.11704154007740833]
本稿では,RAGシステム評価のための自動プラットフォームであるOmniBench RAGを紹介する。
このプラットフォームは、9つの知識分野にまたがる精度と効率の次元でパフォーマンスの向上を定量化する。
評価の結果, RAGの有効性は, 文化の顕著な向上から数学の低下に至るまで, 顕著な変動がみられた。
論文 参考訳（メタデータ） (2025-07-26T03:29:15Z) - Edge-ASR: Towards Low-Bit Quantization of Automatic Speech Recognition Models [8.589209709453026]
量子化、特にPTQ(Post-Training Quantization)は、再トレーニングせずにモデルサイズと推論コストを削減する効果的な方法を提供する。
本稿では、WhisperとMoonshineの2つのエッジASRモデルファミリーに適用した8つの最先端(SOTA)PTQ手法のベンチマークを示す。
提案手法は効率と精度のトレードオフを特徴とし,3ドルビット量子化さえも高容量モデルで成功できることを示した。
論文 参考訳（メタデータ） (2025-07-10T16:00:27Z) - Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。
ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。
TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
論文 参考訳（メタデータ） (2025-05-22T09:04:03Z) - Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。
本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。
符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。
我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
論文 参考訳（メタデータ） (2025-03-18T14:02:59Z) - PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation [68.17081518640934]
ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。
PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。
私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
論文 参考訳（メタデータ） (2024-10-14T11:30:18Z) - Enhancing Feature Selection and Interpretability in AI Regression Tasks Through Feature Attribution [38.53065398127086]
本研究では、回帰問題に対する入力データの非形式的特徴をフィルタリングする特徴属性法の可能性について検討する。
我々は、初期データ空間から最適な変数セットを選択するために、統合グラディエントとk平均クラスタリングを組み合わせた機能選択パイプラインを導入する。
提案手法の有効性を検証するため, ターボ機械の開発過程における羽根振動解析を実世界の産業問題に適用した。
論文 参考訳（メタデータ） (2024-09-25T09:50:51Z) - RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation [30.797422827190278]
本稿ではロバスト適応法 (RoSA) と呼ばれる新しいPEFT法を提案する。
RoSAは、固定された事前トレーニングされた重みのセットの上に、$textitlow-rank$と$textithighly-sparse$コンポーネントをトレーニングする。
また,RoSAがLoRA,純スパース微調整,代替ハイブリット法を同じパラメータ予算で上回ることを示す。
論文 参考訳（メタデータ） (2024-01-09T17:09:01Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Augmenting Pre-trained Language Models with QA-Memory for Open-Domain
Question Answering [38.071375112873675]
質問応答型エンコーダデコーダモデルの提案と事前学習戦略について述べる。
これにより、シングルホップのQAタスクにおいて、以前のQA検索方法よりも優れたエンドツーエンドシステムが得られる。
論文 参考訳（メタデータ） (2022-04-10T02:33:00Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳（メタデータ） (2022-02-17T02:44:05Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳（メタデータ） (2021-05-06T14:12:26Z) - Zero-shot Slot Filling with DPR and RAG [10.577238010892287]
与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。
この分野の最近の進歩は、検索ベースの言語モデルを用いて、エンドツーエンドの方法でこの課題を解決しようとする。
本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。
論文 参考訳（メタデータ） (2021-04-17T18:24:51Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。