論文の概要: The Inconvenient Truths of Ground Truth for Binary Analysis
- arxiv url: http://arxiv.org/abs/2210.15079v1
- Date: Wed, 26 Oct 2022 23:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 15:51:28.198796
- Title: The Inconvenient Truths of Ground Truth for Binary Analysis
- Title(参考訳): 二元分析のための根拠真理の不都合な真理
- Authors: Jim Alves-Foss, Varsah Venugopal
- Abstract要約: すべての真実が平等に創造されるわけではない。
本稿では,二項分析のコミュニティに対して,基礎的真理の概念を深く検討するよう呼びかける。
- 参考スコア(独自算出の注目度): 3.198144010381572
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The effectiveness of binary analysis tools and techniques is often measured
with respect to how well they map to a ground truth. We have found that not all
ground truths are created equal. This paper challenges the binary analysis
community to take a long look at the concept of ground truth, to ensure that we
are in agreement with definition(s) of ground truth, so that we can be
confident in the evaluation of tools and techniques. This becomes even more
important as we move to trained machine learning models, which are only as
useful as the validity of the ground truth in the training.
- Abstract(参考訳): バイナリ分析ツールとテクニックの有効性は、しばしば、それらがどの程度基礎的な真実にマップできるかに関して測定される。
すべての真実が平等に創造されるわけではない。
本稿では,二項分析のコミュニティに対して,基礎的真理の定義に一致していることを保証するために,基礎的真理の概念を深く検討し,ツールや技術の評価に自信を持つことを課題とする。
これは、訓練された機械学習モデルに移行することでさらに重要になります。
関連論文リスト
- GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、反復的に真理データを洗練し、モデルを更新する。
GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
論文 参考訳(メタデータ) (2024-01-22T19:00:08Z) - Alignment for Honesty [113.42626737461129]
我々は、正直に整合することの重要性を主張し、言語モデルが知識が欠如している場合に、積極的に質問に答えることを拒否します。
この課題は、メトリクス開発、ベンチマーク作成、トレーニングという観点で包括的なソリューションを必要とする。
正直さを強調する複数の効率的な微調整技術によってさらにインスタンス化されるフレキシブルなトレーニングフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-12T06:10:42Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia [68.00056517461402]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - Personas as a Way to Model Truthfulness in Language Models [23.86655844340011]
大規模な言語モデル(LLM)は、インターネットから大量のテキストで訓練されている。
本稿では,真理ラベルのトレーニングを受けていないLMが真理を知っているように見える理由を説明する。
論文 参考訳(メタデータ) (2023-10-27T14:27:43Z) - The Geometry of Truth: Emergent Linear Structure in Large Language Model
Representations of True/False Datasets [7.953477673546057]
大きな言語モデル(LLM)には印象的な機能があるが、偽装を出力する傾向がある。
本稿では,言語モデルが事実文の真偽を線形に表現していることを示す。
提案手法は, モデル出力において他の探索手法よりも因果関係が深く, より一般化し, 因果関係が深い新しい手法である質量平均探索法を提案する。
論文 参考訳(メタデータ) (2023-10-10T17:54:39Z) - Truth Machines: Synthesizing Veracity in AI Language Models [0.0]
我々は、AIシステムにおける真理の闘争と、現在までの一般的な対応について議論する。
その後、大規模な言語モデルであるInstructGPTにおける真理の生成について調査する。
これらの論理と矛盾はChatGPTで発生し、真理を非自明な問題として繰り返し主張する。
論文 参考訳(メタデータ) (2023-01-28T02:47:50Z) - Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。
事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。
本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
論文 参考訳(メタデータ) (2022-03-18T19:18:54Z) - Saliency for free: Saliency prediction as a side-effect of object
recognition [4.609056834401648]
本研究では,物体認識深部ニューラルネットワークを学習する際の副作用として,サリエンシマップを生成することができることを示す。
このようなネットワークは、トレーニングに地道な正当性マップを一切必要としない。
実データと合成データの両方で行った大規模な実験により、我々のアプローチが正確な正当性マップを生成できることが証明された。
論文 参考訳(メタデータ) (2021-07-20T17:17:28Z) - Attention-based Adversarial Appearance Learning of Augmented Pedestrians [49.25430012369125]
本稿では,歩行者認識タスクのための現実的なデータを合成する手法を提案する。
本手法は, 対向的損失によって駆動される注意機構を用いて, ドメインの相違を学習する。
提案手法はこのような不一致に対して頑健であり,視覚的リアリズムと意味的整合性の両方を明らかにする。
論文 参考訳(メタデータ) (2021-07-06T15:27:00Z) - Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。
事実と常識はより遅く、ドメインに敏感です。
クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
論文 参考訳(メタデータ) (2021-04-16T04:26:39Z) - Wave-particle duality and the objectiveness of "true" and "false" [0.0]
本稿は「真」と「偽」の目的性を用いた二重分割実験の正しい記述の整合性について論じる。
波動粒子の双対性は自然の基本的な事実であるという結論は、真理値「真」と「偽」の目的性を放棄せざるを得ないことを意味している。
論文 参考訳(メタデータ) (2020-09-15T12:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。