論文の概要: Unconstrained CTI-REALM with Open-Weights

• arxiv url: http://arxiv.org/abs/2610.14180v1
• Date: Fri, 09 Oct 2026 18:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.019129
• Title: Unconstrained CTI-REALM with Open-Weights
• Title（参考訳）: 開放重み付き非拘束CTI-REALM
• Abstract要約: オープンウェイトモデルは、最強のクローズドモデルと10分の1以下のコストで一致させることができる。 ベンチマークが公開しているエージェントメッセージの制限は、相反するものだ。 同様の報酬を持つモデルは、1桁以上のコストで異なる。
• 参考スコア（独自算出の注目度）: 8.150475950851359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Organisations that want language-model agents for security work face a choice between open-weight models, which they can run and audit themselves, and far more expensive closed frontier models. We study that choice on CTI-REALM (arXiv:2603.13517), a benchmark in which an agent turns a threat-intelligence report into a working detection by querying a live telemetry store. We evaluate twenty-six models, nineteen open-weight and seven closed, under a common harness, scorer and panel of LLM judges. Our main finding is that an open-weight model can match the strongest closed models at less than a tenth of their cost, provided it is given enough turns. The benchmark's published limit on agent messages is a confound: a task that exhausts the limit scores zero on every checkpoint, including those it had already passed, so results at that limit partly measure which models finish in time. At the published limit the leading open-weight and closed models cannot be distinguished. With the limit relaxed, the models it was truncating recover, and the highest rewards belong to open-weight models. Among the leading models, price is a poor guide to capability: models with similar rewards differ in cost by more than an order of magnitude. Because the benchmark's checkpoint scores largely record what an agent did or mentioned, we also introduce stage-level metrics that score what the agent submits, by executing its detection queries in the telemetry store and judging its outputs against the answer key. Rather than combining them into one more overall reward, we show that different models lead different stages, which suggests routing each stage of the workflow to the model that performs it best rather than choosing a single model by its overall score. We also report how many tokens each model generates, and find that the share of output spent on thinking does not track the reward.
• Abstract（参考訳）: セキュリティ作業のための言語モデルエージェントを望む組織は、自分たちで実行し、監査できるオープンウェイトモデルと、はるかに高価なクローズドフロンティアモデルとの選択肢に直面します。 CTI-REALM (arXiv:2603.13517) において,エージェントが脅威知能レポートをライブテレメトリストアに問い合わせて動作検出するベンチマークについて検討した。 LLM審査員の共通のハーネス,スコア,パネルの下で,26モデル,19のオープンウェイト,7つのクローズドモデルを評価した。 我々の主な発見は、オープンウェイトモデルが、十分なターンが与えられれば、最強のクローズドモデルとコストの10分の1以下で一致できるということです。 ベンチマークが公開しているエージェントメッセージの制限は相反する: チェックポイント毎の制限スコアをゼロにするタスクは、すでに通過しているものを含む。 公表された制限において、主要なオープンウェイトおよびクローズドモデルは区別できない。 制限が緩和され、そのモデルは回復し、最高の報酬はオープンウェイトモデルに属する。 同様の報酬を持つモデルは、1桁以上のコストで異なる。 ベンチマークのチェックポイントスコアは、エージェントが行ったことや言及したことを主に記録するので、テレメトリストアで検出クエリを実行し、応答キーに対して出力を判断することで、エージェントが提出したものを評価するステージレベルメトリクスも導入します。 より全体的な報酬を1つにまとめるのではなく、異なるモデルが異なるステージをリードしていることを示し、それによってワークフローの各ステージを、全体のスコアによって単一のモデルを選択するのではなく、最もうまく実行するモデルにルーティングすることを提案します。 また、各モデルが生成するトークンの数を報告し、思考に費やしたアウトプットのシェアが報酬を追跡できないことを発見した。

関連論文リスト

• The Price of Correlated Tests: How Strict Should a Model Release Gate Be? [0.0]
  機械学習モデルが出荷される前には、自動テストスイートをパスしなければならないことが多い。 私たちはリリースゲートを設計上の問題として扱い、モデルが通過すべきテスト数を選択して、クリアされたモデルが記述された信頼性の目標を満たすようにします。 両方のクラスが同じ遅延相関を持つ場合、より厳密なゲートが常に信頼性を高めることを証明します。
  論文  参考訳（メタデータ） (2026-10-01T03:27:54Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving [69.5155152169752]
  大規模言語モデル(LLM)のための2段階カスケードソリューションを提案する。 ステージ1は、受信するクエリをクラスタ化し、各クラスタを最もコスト効率の良いモデルに割り当てる。 ステージ2は品質推定(QE)カスケードを追加し、ステージ1からの出力が低品質であると判断されると、クエリはより強力なモデルにエスカレーションされる。 テストデータセットでは、カスケードシステムは最強モデルの精度の97-99%を保持し、TPOT(Time Per Output Token)を削減している。 タスクの正確性ラベルのみを必要とし、手動で再構成することなくモデルプールの変更に適応する。
  論文  参考訳（メタデータ） (2026-06-25T18:29:24Z)
• Dissecting model behavior through agent trajectories [15.811597127775812]
  私たちはインテント・エグゼクティブのギャップを形式化し、モデルが意図するものと、ハーネスが実行しているものとのミスマッチと、その逆です。 このハーネスモデルアライメントの効果を説明するために,SSA(Simple Strands Agent)と呼ばれるシンプルでカスタマイズ可能なハーネスを開発した。 i) 一般的なエージェントベンチマークにおいて,多種多様なモデルプロジェクタファミリーが報告したpass@1のパフォーマンスを再現または改善し, (ii) SSAが生成した128k軌道の解析に基づいて構築する。
  論文  参考訳（メタデータ） (2026-06-16T03:17:03Z)
• The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
  Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。 ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。 トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
  論文  参考訳（メタデータ） (2026-06-08T20:27:06Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Ranked from Within: Ranking Large Multimodal Models Without Labels [73.96543593298426]
  ソフトマックス分布から導かれる不確実性スコアは,様々なタスクにまたがるランキングモデルに対して,ロバストな基礎となることを示す。 これにより、ラベルのないデータに対するLMMのランク付けが容易になり、手動のアノテーションを必要とせずに、多様なターゲットドメインのモデルを選択するための実践的なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-12-09T13:05:43Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。