論文の概要: The Inconvenient Truths of Ground Truth for Binary Analysis
- arxiv url: http://arxiv.org/abs/2210.15079v1
- Date: Wed, 26 Oct 2022 23:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 15:51:28.198796
- Title: The Inconvenient Truths of Ground Truth for Binary Analysis
- Title(参考訳): 二元分析のための根拠真理の不都合な真理
- Authors: Jim Alves-Foss, Varsah Venugopal
- Abstract要約: すべての真実が平等に創造されるわけではない。
本稿では,二項分析のコミュニティに対して,基礎的真理の概念を深く検討するよう呼びかける。
- 参考スコア(独自算出の注目度): 3.198144010381572
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The effectiveness of binary analysis tools and techniques is often measured
with respect to how well they map to a ground truth. We have found that not all
ground truths are created equal. This paper challenges the binary analysis
community to take a long look at the concept of ground truth, to ensure that we
are in agreement with definition(s) of ground truth, so that we can be
confident in the evaluation of tools and techniques. This becomes even more
important as we move to trained machine learning models, which are only as
useful as the validity of the ground truth in the training.
- Abstract(参考訳): バイナリ分析ツールとテクニックの有効性は、しばしば、それらがどの程度基礎的な真実にマップできるかに関して測定される。
すべての真実が平等に創造されるわけではない。
本稿では,二項分析のコミュニティに対して,基礎的真理の定義に一致していることを保証するために,基礎的真理の概念を深く検討し,ツールや技術の評価に自信を持つことを課題とする。
これは、訓練された機械学習モデルに移行することでさらに重要になります。
関連論文リスト
- Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。
また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
論文 参考訳(メタデータ) (2024-03-19T20:10:23Z) - GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、反復的に真理データを洗練し、モデルを更新する。
GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
論文 参考訳(メタデータ) (2024-01-22T19:00:08Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - Personas as a Way to Model Truthfulness in Language Models [23.86655844340011]
大規模な言語モデル(LLM)は、インターネットから大量のテキストで訓練されている。
本稿では,真理ラベルのトレーニングを受けていないLMが真理を知っているように見える理由を説明する。
論文 参考訳(メタデータ) (2023-10-27T14:27:43Z) - The Geometry of Truth: Emergent Linear Structure in Large Language Model
Representations of True/False Datasets [7.953477673546057]
大きな言語モデル(LLM)には印象的な機能があるが、偽装を出力する傾向がある。
本稿では,言語モデルが事実文の真偽を線形に表現していることを示す。
提案手法は, モデル出力において他の探索手法よりも因果関係が深く, より一般化し, 因果関係が深い新しい手法である質量平均探索法を提案する。
論文 参考訳(メタデータ) (2023-10-10T17:54:39Z) - Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
本稿では,4つの基本的な知識操作タスクについて検討する。
言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。
また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
論文 参考訳(メタデータ) (2023-09-25T17:50:41Z) - Truth Machines: Synthesizing Veracity in AI Language Models [0.0]
我々は、AIシステムにおける真理の闘争と、現在までの一般的な対応について議論する。
その後、大規模な言語モデルであるInstructGPTにおける真理の生成について調査する。
これらの論理と矛盾はChatGPTで発生し、真理を非自明な問題として繰り返し主張する。
論文 参考訳(メタデータ) (2023-01-28T02:47:50Z) - Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。
事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。
本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
論文 参考訳(メタデータ) (2022-03-18T19:18:54Z) - Saliency for free: Saliency prediction as a side-effect of object
recognition [4.609056834401648]
本研究では,物体認識深部ニューラルネットワークを学習する際の副作用として,サリエンシマップを生成することができることを示す。
このようなネットワークは、トレーニングに地道な正当性マップを一切必要としない。
実データと合成データの両方で行った大規模な実験により、我々のアプローチが正確な正当性マップを生成できることが証明された。
論文 参考訳(メタデータ) (2021-07-20T17:17:28Z) - Attention-based Adversarial Appearance Learning of Augmented Pedestrians [49.25430012369125]
本稿では,歩行者認識タスクのための現実的なデータを合成する手法を提案する。
本手法は, 対向的損失によって駆動される注意機構を用いて, ドメインの相違を学習する。
提案手法はこのような不一致に対して頑健であり,視覚的リアリズムと意味的整合性の両方を明らかにする。
論文 参考訳(メタデータ) (2021-07-06T15:27:00Z) - Wave-particle duality and the objectiveness of "true" and "false" [0.0]
本稿は「真」と「偽」の目的性を用いた二重分割実験の正しい記述の整合性について論じる。
波動粒子の双対性は自然の基本的な事実であるという結論は、真理値「真」と「偽」の目的性を放棄せざるを得ないことを意味している。
論文 参考訳(メタデータ) (2020-09-15T12:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。