論文の概要: Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI
- arxiv url: http://arxiv.org/abs/2603.11340v1
- Date: Wed, 11 Mar 2026 22:13:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:25.669714
- Title: Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI
- Title(参考訳): ブラックボックスオンラインチューニングによるLLMパフォーマンス向上 - 信頼されたAIのためのファクトシートにシステム仕様を追加する場合
- Abstract要約: 内部の計器を使わずに、短いセグメントで端から端までしか測定できない新しいブラックボックスオンラインコントローラと、高い出力を最大化するために丘登りを提案する。
本稿では,AIシステムを採用する組織において,システムパフォーマンスとサステナビリティ指標をFactsheetに統合することの重要性について論じる。
- 参考スコア(独自算出の注目度): 1.0523334914515425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a novel black-box online controller that uses only end-to-end measurements over short segments, without internal instrumentation, and hill climbing to maximize goodput, defined as the throughput of requests that satisfy the service-level objective. We provide empirical evidence that this design is well-founded. Using this advance in LLM serving as a concrete example, we then discuss the importance of integrating system performance and sustainability metrics into Factsheets for organizations adopting AI systems.
- Abstract(参考訳): 本稿では,サービスレベルの目的を満たす要求のスループットを最大化するために,内部インスツルメンテーションを必要とせず,短いセグメントで端から端までの計測のみを使用する新しいブラックボックスオンラインコントローラを提案する。
この設計が十分に確立されているという実証的な証拠を提供する。
LLMにおけるこの進歩を具体例として、AIシステムを採用する組織のためのFactsheetにシステムパフォーマンスとサステナビリティメトリクスを統合することの重要性について論じる。
関連論文リスト
- TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving [15.843591522874497]
我々は,LVLMの精度向上と遅延によるタイムライン劣化のバランスをとるために,タイムライン対応大規模VLMコラボレーション(TALSC)フレームワークを開発した。
具体的には、まず、VLM推論のためのAge of Information(AoI)進化をモデル化し、AoIとトークン長、タスクパフォーマンスの結合を特徴付ける。
スケジューリング決定は、将来のスケジュール基準に遅れがあり、スケジュール時に出力トークン番号が不明であるので、リアプノフドリフト+推定コストアルゴリズムを設計し、保証された性能を提供する。
論文 参考訳(メタデータ) (2026-08-03T09:58:20Z) - Empirical Recipes for Efficient and Compact Vision-Language Models [54.92440500651415]
リソース制約のある設定における視覚言語モデル(VLM)は低レイテンシと高スループットを必要とする。
実験的なエンドツーエンドの効率分析と系統的なプロファイル推論を行い、主要なボトルネックを特定します。
精度を保ちながらレイテンシを大幅に低減する,コンパクトなVLMに適した最適化レシピを開発した。
論文 参考訳(メタデータ) (2026-03-17T17:17:40Z) - Language Ranker: A Lightweight Ranking framework for LLM Decoding [70.01564145836129]
本稿では,レコメンデーションパイプラインのランク付け段階に類似した復号過程を概念化する。
この知見に触発されて、我々はLanguage Rankerを提案する。
実験の結果、Language Rankerは大規模報酬モデルに匹敵するパフォーマンスを達成する一方で、0.5Mの追加パラメータしか必要としないことがわかった。
論文 参考訳(メタデータ) (2025-10-23T17:56:46Z) - LLM-Powered Nuanced Video Attribute Annotation for Enhanced Recommendations [3.461479036524523]
本稿では,Large Language Models (LLMs) の展開を,ニュアンスのあるコンテンツ理解を実現するための「アノテーション」機構として活用するケーススタディを提案する。
LLM-as-annotators"アプローチは、開発時間を著しく短縮し、微妙な属性のアノテーションを有効にすることで、これらの問題に対処する。
論文 参考訳(メタデータ) (2025-10-08T05:17:17Z) - Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。
当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。
Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文 参考訳(メタデータ) (2024-10-24T19:48:51Z) - Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。
本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
論文 参考訳(メタデータ) (2024-10-21T18:06:25Z) - COS-DPO: Conditioned One-Shot Multi-Objective Fine-Tuning Framework [11.342075103251576]
条件付きワンショットファインチューニングフレームワーク(COS-DPO)は、好みデータとのLLMアライメントを効率的に行うために開発された。
重み付きCOS-DPO法はパレートフロントをプロファイリングするための効率的なワンショットトレーニングプロセスを楽しむ。
温度-COS-DPO法は、モデル入力に対する温度パラメータを増大させ、後トレーニング制御の柔軟性を高める。
論文 参考訳(メタデータ) (2024-10-10T19:06:39Z) - Etalon: Holistic Performance Evaluation Framework for LLM Inference Systems [11.712948114304925]
大規模言語モデル(LLM)の生産は、かなりのコストを発生させる可能性がある。
流動性指数を含む総合的な性能評価フレームワークであるEtalonを提案する。
また、さまざまなオープンソースプラットフォームや、Etalonを使ったモデル・アズ・ア・サービスも評価しています。
論文 参考訳(メタデータ) (2024-07-09T16:13:26Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。
既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。
これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
論文 参考訳(メタデータ) (2023-11-14T14:02:32Z) - ChipNeMo: Domain-Adapted LLMs for Chip Design [19.43613652552849]
ChipNeMoは、産業用チップ設計のための大規模言語モデル(LLM)の応用を探求することを目的としている。
ドメイン適応型トークン化、ドメイン適応型継続事前トレーニング、ドメイン固有命令とのモデルアライメント、ドメイン適応型検索モデルを採用する。
論文 参考訳(メタデータ) (2023-10-31T22:35:58Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。