論文の概要: From the Zoo to the BULLPEN: Sample-Efficient LLM Profiling via Multi-Channel Model Embeddings

• arxiv url: http://arxiv.org/abs/2610.41375v1
• Date: Fri, 30 Oct 2026 07:41:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.647245
• Title: From the Zoo to the BULLPEN: Sample-Efficient LLM Profiling via Multi-Channel Model Embeddings
• Title（参考訳）: 動物からBULLPENへ:マルチチャネルモデル埋め込みによるサンプル効率の良いLLMプロファイリング
• Abstract要約: 我々は EmbedLLM を拡張するフレームワークである BULLPEN を紹介した。 BULLPENは、以前の作業で使用した下流タスクを整理し、動作、スタイル、証明に基づいて構築した20のタスクベンチマークを追加します。 モデル自身の回答文をその正しさと質問文とともに読み取る最初のフレームワークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing among the hundreds of thousands of available large language models (LLMs) requires a thorough understanding of each candidate model's properties. In practice, each property is measured by its own benchmark suite, so profiling a model on many properties means paying for many separate evaluations. To address this, model embeddings compress each model into a fixed-length vector from which many properties can be predicted. Existing methods, such as EmbedLLM, build these vectors from correctness patterns and question features, and often need large probe batteries to do so. However, many behaviors that are important when choosing a model, such as its verbosity, safety and style, show up more in how it answers than in whether it is correct. We introduce BULLPEN (Behavioral Understanding of Large Language models via Profile ENcodings), a framework that extends EmbedLLM in three ways. First, BULLPEN organizes the downstream tasks that prior work uses and adds 20 task benchmarks we built on behavior, style and provenance. Second, it is the first framework to read a model's own answer text jointly with its correctness and the question text. Third, it encodes models from a few hundred questions instead of the full 24,118-question pool. Across 260 open-weight models, our answer-text encoder scores 0.48 +/- 0.10 on the new tasks against 0.35 +/- 0.10 for the best prior encoder. Our encoders that read answer text keep at least 91% of their full-pool skill from only 400 questions (1.3% of the inference compute of the full question pool), while a correctness-only baseline keeps 83% with the same 400 questions. Because these embeddings need only model outputs, they support behavioral auditing and low-cost profiling, and could extend to API-only models. Code and data: https://github.com/wcquesera/bullpen
• Abstract（参考訳）: 数十万もの利用可能な大規模言語モデル (LLM) の中から選択するには、各候補モデルのプロパティを徹底的に理解する必要がある。 実際には、各プロパティは独自のベンチマークスイートによって測定されるため、多くのプロパティにモデルをプロファイリングすることは、多くの別々の評価に支払うことを意味する。 これを解決するために、モデル埋め込みは各モデルを多くの特性を予測できる固定長ベクトルに圧縮する。 EmbedLLMのような既存の手法は、これらのベクトルを正当性パターンや問題の特徴から構築し、大きなプローブバッテリを必要とすることが多い。 しかしながら、モデルの冗長性や安全性、スタイルなど、モデルを選択する上で重要な振る舞いの多くは、それが正しいかどうかよりも、どのように答えるかに現れます。 BULLPEN (Behavioral Understanding of Large Language model via Profile ENcodings)は, EmbedLLMを3つの方法で拡張するフレームワークである。 まず、BULLPENは、以前の作業で使用した下流タスクを整理し、振る舞い、スタイル、実績に基づいて構築した20のタスクベンチマークを追加します。 第二に、モデル自身の回答テキストをその正確性と質問テキストとともに読み取る最初のフレームワークである。 第3に、完全な24,118のクェリプールではなく、数百の質問からモデルをエンコードする。 260個のオープンウェイトモデルに対して、我々の回答テキストエンコーダは0.48 +/- 0.10を、最高の先行エンコーダでは0.35 +/- 0.10とスコア付けします。 回答テキストを読むエンコーダは、400問(全質問プールの推測計算の1.3%)から少なくとも91%のフルプールスキルを保ち、正当性のみのベースラインは同じ400問で83%を保っている。 これらの埋め込みはモデル出力のみを必要とするため、行動監査と低コストなプロファイリングをサポートし、APIのみのモデルに拡張できる。 コードとデータ:https://github.com/wcquesera/bullpen

関連論文リスト

• PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion [15.66392940087084]
  PAIRはエビデンス抽出と解答推論に2つの異なるサイズのモデルを採用している。 より小さなReaderモデルは、完全なコンテキストを処理し、保持する一方で、より大きなReasonerモデルは、コンテキストに直接参加することなく、質問と生成されたシーケンスのみを見ることができる。 HotpotQAでは、32B Reasonerを搭載したPAIRは、KVメモリの約4分の1を使用しながら、同じ32Bモデルのフルコンテキスト精度の96%を維持している。 45.7Kのコンテキストでは、PAIRは同じGPU上のフルコンテキスト32Bモデルよりも3.2$times$高いエンドツーエンドスループットを実現している。
  論文  参考訳（メタデータ） (2026-10-12T00:10:17Z)
• Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost [0.0]
  私たちは、その天井の下にある予算のどれ程が、そのモデルがすでに行っている作業に費やされているか尋ねます。 現実世界の7つのデータセットでは、98.7%のプロンプトトークンが既に読まれていたテキストだった。 本稿では,vLLM,SG,ラマのメモリ層であるGalahadを紹介する。
  論文  参考訳（メタデータ） (2026-09-30T09:16:40Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• Billions of Parameters Are Worth More Than In-domain Training Data: A case study in the Legal Case Entailment Task [4.186775801993103]
  言語モデルにおけるパラメータのスケーリングは、以前のゼロショット結果のF1スコアを6ポイント以上向上させることを示す。 大規模な言語モデルによってもたらされる課題にも拘わらず、我々はゼロショットの monoT5-3b モデルが検索エンジンとして本番で使用されていることを実演する。
  論文  参考訳（メタデータ） (2022-05-30T15:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。