Fugu-MT 論文翻訳(概要): The Inconvenient Truths of Ground Truth for Binary Analysis

論文の概要: The Inconvenient Truths of Ground Truth for Binary Analysis

arxiv url: http://arxiv.org/abs/2210.15079v1
Date: Wed, 26 Oct 2022 23:27:57 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 15:51:28.198796
Title: The Inconvenient Truths of Ground Truth for Binary Analysis
Title（参考訳）: 二元分析のための根拠真理の不都合な真理
Authors: Jim Alves-Foss, Varsah Venugopal
Abstract要約: すべての真実が平等に創造されるわけではない。本稿では,二項分析のコミュニティに対して,基礎的真理の概念を深く検討するよう呼びかける。
参考スコア（独自算出の注目度）: 3.198144010381572
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The effectiveness of binary analysis tools and techniques is often measured with respect to how well they map to a ground truth. We have found that not all ground truths are created equal. This paper challenges the binary analysis community to take a long look at the concept of ground truth, to ensure that we are in agreement with definition(s) of ground truth, so that we can be confident in the evaluation of tools and techniques. This becomes even more important as we move to trained machine learning models, which are only as useful as the validity of the ground truth in the training.
Abstract（参考訳）: バイナリ分析ツールとテクニックの有効性は、しばしば、それらがどの程度基礎的な真実にマップできるかに関して測定される。すべての真実が平等に創造されるわけではない。本稿では,二項分析のコミュニティに対して,基礎的真理の定義に一致していることを保証するために,基礎的真理の概念を深く検討し,ツールや技術の評価に自信を持つことを課題とする。これは、訓練された機械学習モデルに移行することでさらに重要になります。

関連論文リスト

LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-06-20T06:42:27Z)
Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
論文参考訳（メタデータ） (2024-03-19T20:10:23Z)
GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、反復的に真理データを洗練し、モデルを更新する。 GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
論文参考訳（メタデータ） (2024-01-22T19:00:08Z)
A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。しかし、この文脈的基盤のメカニズムはいまだに不明である。本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文参考訳（メタデータ） (2023-12-04T17:35:42Z)
Personas as a Way to Model Truthfulness in Language Models [23.86655844340011]
大規模な言語モデル(LLM)は、インターネットから大量のテキストで訓練されている。本稿では,真理ラベルのトレーニングを受けていないLMが真理を知っているように見える理由を説明する。
論文参考訳（メタデータ） (2023-10-27T14:27:43Z)
The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets [6.732432949368421]
大きな言語モデル(LLM)には印象的な能力があるが、偽装を出力する傾向がある。近年の研究では、LLMの内部アクティベーションに関するプローブを訓練することで、LLMが真実を語っているかどうかを推測する手法が開発されている。十分な規模で LLM が実言の真偽を線形に表す証拠を示す。
論文参考訳（メタデータ） (2023-10-10T17:54:39Z)
Physics of Language Models: Part 3.2, Knowledge Manipulation [51.68385617116854]
本稿では,4つの基本的な知識操作タスクについて検討する。言語モデルは知識検索に優れるが、最も単純な分類や比較タスクにも耐え難い。また, GPT-4のような近代的な事前学習言語モデルにも適用できる。
論文参考訳（メタデータ） (2023-09-25T17:50:41Z)
Truth Machines: Synthesizing Veracity in AI Language Models [0.0]
我々は、AIシステムにおける真理の闘争と、現在までの一般的な対応について議論する。その後、大規模な言語モデルであるInstructGPTにおける真理の生成について調査する。これらの論理と矛盾はChatGPTで発生し、真理を非自明な問題として繰り返し主張する。
論文参考訳（メタデータ） (2023-01-28T02:47:50Z)
Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
論文参考訳（メタデータ） (2022-03-18T19:18:54Z)
Saliency for free: Saliency prediction as a side-effect of object recognition [4.609056834401648]
本研究では,物体認識深部ニューラルネットワークを学習する際の副作用として,サリエンシマップを生成することができることを示す。このようなネットワークは、トレーニングに地道な正当性マップを一切必要としない。実データと合成データの両方で行った大規模な実験により、我々のアプローチが正確な正当性マップを生成できることが証明された。
論文参考訳（メタデータ） (2021-07-20T17:17:28Z)
Wave-particle duality and the objectiveness of "true" and "false" [0.0]
本稿は「真」と「偽」の目的性を用いた二重分割実験の正しい記述の整合性について論じる。波動粒子の双対性は自然の基本的な事実であるという結論は、真理値「真」と「偽」の目的性を放棄せざるを得ないことを意味している。
論文参考訳（メタデータ） (2020-09-15T12:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。