論文の概要: MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens

• arxiv url: http://arxiv.org/abs/2609.30967v1
• Date: Fri, 25 Sep 2026 08:16:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.290734
• Title: MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens
• Title（参考訳）: MoMHa: LLMハーネスの精度、安全性、トークンに対する多目的最適化
• Abstract要約: 我々は、プロンプト、ルート呼び出し、パースアウトプットを構成するモデルを取り巻くPythonのコードであるハーネスが、本質的にはマルチオブジェクトであるファーストクラスのデザインサーフェスであると主張している。 本稿では,ドメインごとの3つの目的(精度,行動安全,トークンコスト)をエージェント提案者によって探索するシステムであるMeta-Harnessを提案する。
• 参考スコア（独自算出の注目度）: 9.261624868201638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most work on improving large language models treats accuracy as the sole objective. We argue that the harness, the Python code surrounding the model that constructs prompts, routes calls, and parses outputs, is a first-class design surface whose quality is inherently multi-objective: an accurate harness that refuses no unsafe request, or that consumes an order of magnitude more tokens, is not a good harness. We present Meta-Harness, a system that casts harness design as search over three per-domain objectives (accuracy, behavioural safety, and token cost) solved by an agentic proposer (Claude Code) with full filesystem access to prior harness source, execution traces, and scoring artifacts. Our central finding is that a singlephase joint-reward proposer (MoMHa) outperforms every alternative, including a two-phase "accuracy then tokens" ablation, scalar-only feedback, and an accuracy-only baseline. We evaluate on seventeen domains: seven synthetic capability suites, seven real-world public benchmarks (HumanEval, MBPP, Spider, FEVER, MMLU-Pro, LawBench, NuminaMath), and three U-SafeBench-derived user-specific safety domains, using a 12-model fleet spanning four families. On the synthetic track MoMHa achieves a joint mean of 0.482 versus 0.198-0.422 for ten baselines, winning $7 / 10$ per-domain columns; on the real-world track it scores 0.461 versus 0.377 for the strongest baseline (DSPy), winning 5/7 columns, demonstrating that harness strategies transfer to unseen benchmarks without retraining on 8 of 12 target models. MoMHa attains the highest measured behavioral safety composite (U-SafeBench, 0.781) and uses 95 fewer tokens per example than the two-phase alternative. We will release all harness code, evaluation infrastructure, and crossmodel logs.
• Abstract（参考訳）: 大きな言語モデルを改善するための作業の多くは、精度を唯一の目的として扱う。 我々は、プロンプト、ルート呼び出し、パースアウトプットを構成するモデルを取り巻くPythonのコードであるハーネスが、本質的にはマルチオブジェクトであるファーストクラスのデザインサーフェスであると主張している。 提案するMeta-Harnessは,ドメインごとの3つの目的(正確性,行動安全,トークンコスト)を探索としてハーネス設計をキャストするシステムである。 我々の中心的な発見は、単相共振器(MoMHa)が2相共振器のアブレーション、スカラーのみのフィードバック、精度のみのベースラインを含む全ての選択肢より優れていることである。 HumanEval, MBPP, Spider, FEVER, MMLU-Pro, LawBench, NuminaMath) と U-SafeBench 由来の3つのユーザ固有の安全ドメインを4つのファミリーにまたがる12種類のモデルで比較検討した。 合成トラックのMoMHaは10基ラインで0.482対0.198-0.422で7/10$で勝利し、現実世界のトラックでは0.461対0.377で最強ベースライン(DSPy)で5/7コラムを獲得した。 MoMHaは最も測定された行動安全複合材料(U-SafeBench, 0.781)を達成し、2相の代替品よりも95個のトークンを使用する。 私たちは、すべてのハーネスコード、評価インフラストラクチャ、およびクロスモデルログをリリースします。

関連論文リスト

• EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
  EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。 これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。 また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
  論文  参考訳（メタデータ） (2026-09-05T05:56:41Z)
• Harnessing LLMs for Reliable Academic Supervision: A Comparative Study [0.0]
  大規模言語モデルは、単発プロンプトに対する流動的な回答を日常的に生成するが、それらをドメイン決定システムの信頼性の高いコンポーネントとしてデプロイするのは、かなり難しい。 このギャップを埋めるのは、決定論的足場を意図的に構成する、ハーネスエンジニアリングの作業である。 本稿では,高評価,経時的アカウンタビリティ,構造化された運用研究を併用した,学術的監督の事例を紹介する。
  論文  参考訳（メタデータ） (2026-07-16T08:14:27Z)
• Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models [0.0]
  MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。 新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。 3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
  論文  参考訳（メタデータ） (2026-06-09T14:13:54Z)
• Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
  本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。 オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。 検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
  論文  参考訳（メタデータ） (2026-03-30T05:33:50Z)
• Understanding NPM Malicious Package Detection: A Benchmark-Driven Empirical Analysis [10.599261033874884]
  NPMエコシステムは、ソフトウェアサプライチェーン攻撃の主要なターゲットとなっている。 ベンチマークによるNPMマルウェア検出の実証分析を行う。 我々は、11の行動カテゴリと8の回避テクニックを付加した、6,420の悪意のある7,288の良性パッケージのデータセットを構築した。
  論文  参考訳（メタデータ） (2026-03-29T07:04:31Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。