Fugu-MT 論文翻訳(概要): Analysis of LLM Performance on AWS Bedrock: Receipt-item Categorisation Case Study

論文の概要: Analysis of LLM Performance on AWS Bedrock: Receipt-item Categorisation Case Study

arxiv url: http://arxiv.org/abs/2604.01615v1
Date: Thu, 02 Apr 2026 04:50:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-03 14:21:10.359527
Title: Analysis of LLM Performance on AWS Bedrock: Receipt-item Categorisation Case Study
Title（参考訳）: AWSベッドロックにおけるLCM性能の分析:Receipt-item分類ケーススタディ
Abstract要約: 本稿では,大規模言語モデル(LLM)の体系的,費用対効果を考慮した評価について述べる。私たちはAWS Bedrockで利用可能な4つの命令チューニングモデルを比較した。実験の結果,Claude 3.7 Sonnetは分類精度とコスト効率のバランスが最も良好であることがわかった。
参考スコア（独自算出の注目度）: 13.135480880299378
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This paper presents a systematic, cost-aware evaluation of large language models (LLMs) for receipt-item categorisation within a production-oriented classification framework. We compare four instruction-tuned models available through AWS Bedrock: Claude 3.7 Sonnet, Claude 4 Sonnet, Mixtral 8x7B Instruct, and Mistral 7B Instruct. The aim of the study was (1) to assess performance across accuracy, response stability, and token-level cost, and (2) to investigate what prompting methods, zero-shot or few-shot, are especially appropriate both in terms of accuracy and in terms of incurred costs. Results of our experiments demonstrated that Claude 3.7 Sonnet achieves the most favourable balance between classification accuracy and cost efficiency.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) の系統的, 費用面を考慮した評価を行い, 生産指向の分類フレームワーク内でのレシート・イテムの分類について述べる。私たちはAWS Bedrockで利用可能な4つの命令チューニングモデルを比較した。本研究の目的は,(1) 精度, 応答安定性, トークンレベルのコストに対する性能評価を行い, (2) 精度, コストの両面で, ゼロショット, 少数ショットの促進方法が特に適切かを検討することである。実験の結果,Claude 3.7 Sonnetは分類精度とコスト効率のバランスが最も良好であることがわかった。

関連論文リスト

Large Language Models for Citation Function Classification [5.884448754842615]
サイテーション関数分類は、科学出版物間の関係を理解する上で重要な役割を担い、書誌分析の進歩に寄与する。本研究は,多言語多言語言語モデル (LLM) を引用関数分類に応用した最初の総合的評価手法である。我々の微調整されたFalcon 7Bモデルは、ACL-ARC上で73.3%のマクロF1スコアを達成する。
論文参考訳（メタデータ） (2026-07-20T09:29:53Z)
Local Brushstroke Quality Assessment via Vision-Language Feedback [16.561215035945423]
本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。本研究では、3つのマルチモーダル LLM が5点順序尺度を用いて事前画像ペアの評価を行い、その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。さらに,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)を検討した結果,GPT-4oが最高性能(MAE=0.885)の絶対スコア精度(MAE)が得られた。
論文参考訳（メタデータ） (2026-07-15T18:22:21Z)
Do LLMs Reliably Identify Correct Information Units in Aphasic Discourse? [0.0]
本研究では,アクセシックな談話書き起こしからトークンレベルのCIU分類を確実に行うことができるかを検討した。 LLMに基づくCIUスコアリングは、談話アセスメントシステムの有望な人道的要素である。
論文参考訳（メタデータ） (2026-04-10T01:53:35Z)
ExecTune: Effective Steering of Black-Box LLMs with Guide Models [81.45879384560016]
我々は、ガイドモデルがブラックボックスコアモデルによって実行される構造化戦略を生成する、ガイドコアポリシー(GCoP)と呼ばれるシステムのクラスについて研究する。我々はGCoPを費用対効果目標として定式化し、エンドツーエンドのパフォーマンスは平均実行可能性によって管理されていることを示す。教師が指導する受入サンプリング,教師による微調整,構造対応強化学習を組み合わせた,原則的学習レシピであるExecTuneを提案する。
論文参考訳（メタデータ） (2026-04-09T23:27:46Z)
Taming Scylla: Understanding the multi-headed agentic daemon of the coding seas [0.0]
本稿ではエージェントコーディングツールをベンチマークするための評価フレームワークであるScyllaを紹介する。主要な指標はCoP(Cost-of-Pass)であり、複雑さと効率のトレードオフを直接的に定量化する。
論文参考訳（メタデータ） (2026-02-09T15:06:24Z)
Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文参考訳（メタデータ） (2025-12-31T13:55:54Z)
A-VERT: Agnostic Verification with Embedding Ranking Targets [0.0]
構造自由評価法を提案する。本手法は,対象候補と任意のLM生成テキストとをマッチングするために,意味埋め込み距離を利用する。その結果, 回帰スコアは0.97, 精度は96%であった。
論文参考訳（メタデータ） (2025-10-01T21:26:03Z)
LLM Routing with Dueling Feedback [49.67815163970033]
ユーザの満足度,モデルの専門性,推論コストのバランスを保ちながら,クエリ毎に最適なモデルを選択するという課題について検討する。絶対的なスコアではなく、ペアの選好フィードバックから学習することで、ルーティングをコンテキストデュエルの帯域として定式化する。分類的重み付けを用いた対照的な微調整を用いて,オフラインデータからモデル埋め込みを導出する表現学習手法であるカテゴリーキャリブレーション・ファインタニング(CCFT)を導入する。
論文参考訳（メタデータ） (2025-10-01T12:52:25Z)
Quantifying Label-Induced Bias in Large Language Model Self- and Cross-Evaluations [0.0]
大規模言語モデル (LLM) は、テキスト品質の評価器としてますます多くデプロイされている。本研究では,ChatGPT,Gemini,Claudeの3つのLLMにおける自己モデルと相互モデルの評価の系統的バイアスについて検討した。
論文参考訳（メタデータ） (2025-08-28T18:59:23Z)
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。 Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
論文参考訳（メタデータ） (2025-08-15T10:32:50Z)
LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models [51.55869466207234]
静的ベンチマークにおけるLLM(Large Language Models)の既存の評価は、データの汚染やリーダーボードのオーバーフィッティングに弱い。 LLMの動的評価のためのフレームワークであるLLMEval-3を紹介する。 LLEval-3は、220kの卒業生レベルの質問からなるプロプライエタリなバンク上に構築されており、評価実行毎に未確認のテストセットを動的にサンプリングする。
論文参考訳（メタデータ） (2025-08-07T14:46:30Z)
Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
論文参考訳（メタデータ） (2025-05-20T21:12:58Z)
Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
論文参考訳（メタデータ） (2024-10-14T01:57:25Z)
Evaluation of Few-Shot Learning for Classification Tasks in the Polish Language [0.1534667887016089]
ポーランド語に固有の7つの異なる分類タスクからなる数ショットのベンチマークを導入する。各種の訓練済み商用およびオープンソースモデルを用いて, 微調整, 線形探索, SetFit, テキスト内学習 (ICL) の0と16ショットを比較した。 ICL は GPT-3.5 や GPT-4 などの商用モデルで最高の性能を達成している。
論文参考訳（メタデータ） (2024-04-27T08:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。