論文の概要: Benchmarks for Detecting Measurement Tampering

• arxiv url: http://arxiv.org/abs/2308.15605v4
• Date: Thu, 7 Sep 2023 20:35:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 09:12:14.491015
• Title: Benchmarks for Detecting Measurement Tampering
• Title（参考訳）: 計測タンパ検出ベンチマーク
• Authors: Fabien Roger, Ryan Greenblatt, Max Nadeau, Buck Shlegeris, Nate Thomas
• Abstract要約: そこで本研究では,大規模言語モデルを用いたテクスチャ検出手法を評価するために,4つの新しいテキストベースデータセットを構築した。 目的は、すべての測定結果が実際に結果が発生したかどうかを示す例や、測定の改ざんによって引き起こされたかを決定することである。 ほとんどのデータセットで単純なベースラインを上回りますが、最大パフォーマンスは達成できません。
• 参考スコア（独自算出の注目度）: 2.9138729302304855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training powerful AI systems to perform complex tasks, it may be challenging to provide training signals which are robust to optimization. One concern is \textit{measurement tampering}, where the AI system manipulates multiple measurements to create the illusion of good results instead of achieving the desired outcome. In this work, we build four new text-based datasets to evaluate measurement tampering detection techniques on large language models. Concretely, given sets of text inputs and measurements aimed at determining if some outcome occurred, as well as a base model able to accurately predict measurements, the goal is to determine if examples where all measurements indicate the outcome occurred actually had the outcome occur, or if this was caused by measurement tampering. We demonstrate techniques that outperform simple baselines on most datasets, but don't achieve maximum performance. We believe there is significant room for improvement for both techniques and datasets, and we are excited for future work tackling measurement tampering.
• Abstract（参考訳）: 複雑なタスクを実行するために強力なAIシステムをトレーニングする場合、最適化に堅牢なトレーニング信号を提供することは困難である。 ひとつは \textit{measurement tampering} で、aiシステムは望ましい結果を得るのではなく、良い結果の錯覚を作り出すために複数の測定値を操作する。 本研究では,大規模言語モデルにおける計測改ざん検出手法を評価するために,新たに4つのテキストベースデータセットを構築した。 具体的には、何らかの結果が生じたかどうかを判断するためのテキスト入力と測定のセットと、測定結果を正確に予測できるベースモデルが与えられた場合、すべての測定結果が実際に結果が生じたかどうかを示す例、測定の改ざんによって引き起こされたかどうかを判断する。 ほとんどのデータセットで単純なベースラインを上回りますが、最大パフォーマンスは達成できません。 技術とデータセットの両方に改善の余地があると信じており、測定の改ざんに取り組む今後の作業に興奮しています。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Randomized compiling for subsystem measurements [0.0]
  本稿では, ランダム化コンパイルに基づく新しい手法を提案する。 本手法は, 計算ベース測定における一般的な誤差を減らし, 混乱行列のように振る舞うことを示す。 我々は、単純で現実的なノイズモデルが、有害で、モデル化が難しいエラーを引き起こすことを実証する。
  論文  参考訳（メタデータ） (2023-04-13T15:06:11Z)
• On the impact of dataset size and class imbalance in evaluating machine-learning-based windows malware detection techniques [0.0]
  一部の研究者は、より小さなデータセットを使用し、データセットのサイズがパフォーマンスに重大な影響を与えている場合、公表された結果の比較が困難になる。 このプロジェクトは、データセットのサイズが測定された検出器の性能と関係しているかどうかを理解するために、2つの重要な目標を特定した。 結果は、高い精度のスコアが必ずしも高い実世界のパフォーマンスに必ずしも変換されないことを示唆した。
  論文  参考訳（メタデータ） (2022-06-13T15:37:31Z)
• Evaluating BERT-based Pre-training Language Models for Detecting Misinformation [2.1915057426589746]
  オンラインに投稿された全ての情報に対する監督が欠如しているため、オンライン情報の質を制御することは困難である。 誤報の拡散による悪影響を抑えるために, 自動的噂検出技術が必要である。 本研究では、BERTに基づく事前学習言語モデルを用いて、テキストデータをベクトルにエンコードし、ニューラルネットワークモデルを用いてこれらのベクトルを分類し、誤情報を検出する。
  論文  参考訳（メタデータ） (2022-03-15T08:54:36Z)
• Data-Centric Machine Learning in the Legal Domain [0.2624902795082451]
  本稿では,データセットの変化がモデルの性能に与える影響について考察する。 法律ドメインから公開されている3つのデータセットを用いて,そのサイズ,列車/テストの分割,および人間のラベル付け精度がパフォーマンスに与える影響について検討する。 観察された効果は、特にクラスごとのパフォーマンスを考慮した場合、驚くほど顕著である。
  論文  参考訳（メタデータ） (2022-01-17T23:05:14Z)
• Robust Event Classification Using Imperfect Real-world PMU Data [58.26737360525643]
  本研究では,不完全な実世界のファサー計測単位(PMU)データを用いて,ロバストな事象分類について検討する。 我々は、堅牢なイベント分類器を訓練するための新しい機械学習フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-10-19T17:41:43Z)
• False perfection in machine prediction: Detecting and assessing circularity problems in machine learning [11.878820609988695]
  医療情報学や特許法などの重要な応用分野における機械学習の問題点を実証する。 入力データの表現に目的の出力が決定論的に定義されている測定値を含めると、完璧だが円形な予測が導かれる。 実世界のアプリケーションへの研究結果の転送には,データ表現から対象結果を定義する計測を分離することにより,円周性を回避する必要がある,と我々は主張する。
  論文  参考訳（メタデータ） (2021-06-23T14:11:06Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。