論文の概要: The Poisoned Chalice of LLM Evaluation Report

• arxiv url: http://arxiv.org/abs/2607.07481v1
• Date: Wed, 08 Jul 2026 14:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.425437
• Title: The Poisoned Chalice of LLM Evaluation Report
• Title（参考訳）: LLM評価報告書の賛否両論
• Abstract要約: 本稿では,LLM評価コンペティションのPoisoned Chaliceのセットアップと結果について報告する。 コンペティションは、ソースコード上のホワイトボックスメンバシップ推論タスクとして汚染検出を行う。 参加者には、キュレートされたデータセット、ターゲットモデル、ベースラインアタック、保持されたモデルとデータセットに関する最終的な評価が提供される。
• 参考スコア（独自算出の注目度）: 7.975661717469191
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are increasingly used to evaluate and support software engineering tasks, yet the validity of these evaluations is often undermined by uncertainty about whether benchmark instances were seen during pretraining. This can lead to data contamination, which may inflate performance and result in misleading conclusions about model capability. Despite this, the training corpora of many modern models are only partially disclosed, making direct decontamination infeasible. This creates a need for practical methods that can detect a large language models' prior exposure to training data without access to the full training corpus. To address this challenge, we organize the first Poisoned Chalice of LLM Evaluation Competition, co-located with the FSE-AIWare 2026 Competition Track. The competition frames contamination detection as a white-box membership inference task on source code and provides participants with curated datasets, target models, baseline attacks, and a final evaluation on a held-out model and dataset. This design encourages methods that generalize beyond superficial dataset artifacts and beyond a single training setting. This paper reports the setup and results of the competition. More broadly, the competition aims to catalyze the community around trustworthy LLM evaluation for software engineering.
• Abstract（参考訳）: 大規模な言語モデルは、ソフトウェアエンジニアリングタスクの評価とサポートにますます使われていますが、これらの評価の有効性は、事前トレーニング中にベンチマークインスタンスが見られたかどうかの不確実性によって損なわれます。 これはデータ汚染を招き、パフォーマンスを低下させ、モデル能力に関する誤解を招く可能性がある。 それにもかかわらず、多くの近代モデルのトレーニングコーパスは部分的にしか公開されておらず、直接汚染を防止できない。 これにより、大規模な言語モデルのトレーニングデータへの事前露出を、完全なトレーニングコーパスにアクセスせずに検出できる実用的な方法の必要性が生じる。 この課題に対処するため,我々はFSE-AIWare 2026コンペティショントラックと共同で,LLMアセスメントコンペティションの最初のPoisoned Chaliceを組織した。 このコンペティションは、ソースコード上のホワイトボックスメンバシップ推論タスクとして汚染検出をフレーム化し、参加者にキュレートされたデータセット、ターゲットモデル、ベースラインアタック、保持されたモデルとデータセットに関する最終的な評価を提供する。 この設計は、表面的なデータセットアーティファクトを越えて、単一のトレーニング設定を越えて一般化するメソッドを奨励する。 本稿では,コンペの開催状況と結果について報告する。 より広範に、このコンペティションは、ソフトウェアエンジニアリングのための信頼できるLCM評価に関するコミュニティを活性化することを目的としている。

関連論文リスト

• Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
  LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。 LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
  論文  参考訳（メタデータ） (2026-06-15T03:17:44Z)
• Reference-Specific Unlearning Metrics Can Hide the Truth: A Reality Check [60.77691669644931]
  本研究では,非学習モデルと参照モデル間の分布類似度を測定する新しい尺度であるFADE(Functional Alignment for Distributional Equivalence)を提案する。 FADEは出力分布全体の機能的アライメントをキャプチャし、真の未学習の原則的評価を提供する。 これらの知見は、現在の評価実践における根本的なギャップを明らかにし、FADEが真に効果的な未学習手法を開発し評価するための、より堅牢な基盤を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-14T20:50:30Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Investigating a Benchmark for Training-set free Evaluation of Linguistic Capabilities in Machine Reading Comprehension [12.09297288867446]
  合成課題集合上でのトレーニングセット自由設定において最適化モデルを評価するためのフレームワークについて検討する。 生成手法の単純さにもかかわらず、データは自然性や語彙の多様性に関してクラウドソースのデータセットと競合する。 我々は、さらに実験を行い、最先端の言語モデルに基づくMRCシステムが、挑戦セットを正しく成功させるために学習できることを示します。
  論文  参考訳（メタデータ） (2024-08-09T12:23:36Z)
• Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
  フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。 本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。 提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
  論文  参考訳（メタデータ） (2024-04-17T03:42:48Z)
• KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models [53.84677081899392]
  KIEvalは、大規模言語モデルのための知識ベースでインタラクティブな評価フレームワークである。 動的汚染耐性評価を達成するために、LSMを動力とする"インターアクター"の役割を初めて取り入れている。 5つのデータセットにわたる7つのLLMの大規模な実験により、KIEvalの有効性と一般化が検証された。
  論文  参考訳（メタデータ） (2024-02-23T01:30:39Z)
• FairSISA: Ensemble Post-Processing to Improve Fairness of Unlearning in LLMs [6.689848416609951]
  大規模言語モデル(LLM)における未学習と公平性の相互作用について検討する。 我々は、SISAとして知られる人気のある非学習フレームワークに焦点を当て、非結合シャードで訓練されたモデルのアンサンブルを作成する。 SISAによるアンサンブルモデルに対する後処理バイアス軽減手法を提案する。
  論文  参考訳（メタデータ） (2023-12-12T16:44:47Z)
• Group Robust Classification Without Any Group Information [5.053622900542495]
  この研究は、グループロバストネスに対する現在のバイアス非教師アプローチが、最適なパフォーマンスを達成するためにグループ情報に依存し続けていることを主張する。 バイアスラベルは依然として効果的なモデル選択に不可欠であり、現実のシナリオにおけるこれらの手法の実用性を制限する。 本稿では, 偏りのないモデルに対して, 完全にバイアスのない方法でトレーニングし, 妥当性を検証するための改訂手法を提案する。
  論文  参考訳（メタデータ） (2023-10-28T01:29:18Z)
• Data Contamination Through the Lens of Time [21.933771085956426]
  大規模言語モデル(LLM)は一般に利用可能なベンチマークを評価することでしばしばサポートされる。 このプラクティスは、データ汚染の懸念、すなわち、トレーニングデータに明示的にまたは暗黙的に含まれている例を評価することを提起する。 GPTモデルにおけるトレーニングカットオフの自然実験を用いて, LLMにおけるデータ汚染の経時的解析を行った。
  論文  参考訳（メタデータ） (2023-10-16T17:51:29Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。