論文の概要: CAVE: Controllable Authorship Verification Explanations
- arxiv url: http://arxiv.org/abs/2406.16672v1
- Date: Mon, 24 Jun 2024 14:27:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:34:57.800906
- Title: CAVE: Controllable Authorship Verification Explanations
- Title(参考訳): CAVE: 管理可能なオーサシップ検証説明
- Authors: Sahana Ramnath, Kartik Pandey, Elizabeth Boschee, Xiang Ren,
- Abstract要約: オーサシップ検証(AV)は、多くのセンシティブなリアルタイムアプリケーションに必須である。
この作業では、モデルCAVEの課題に対処する第一歩を踏み出します。
CAVEは,1)構造化された自由テキストAV説明文を生成し,2)説明ラベルの整合性について容易に検証する。
- 参考スコア(独自算出の注目度): 29.537315481366655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Authorship Verification (AV) (do two documents have the same author?) is essential for many sensitive real-life applications. AV is often used in proprietary domains that require a private, offline model, making SOTA online models like ChatGPT undesirable. Other SOTA systems use methods, e.g. Siamese Networks, that are uninterpretable, and hence cannot be trusted in high-stakes applications. In this work, we take the first step to address the above challenges with our model CAVE (Controllable Authorship Verification Explanations): CAVE generates free-text AV explanations that are controlled to be 1) structured (can be decomposed into sub-explanations with respect to relevant linguistic features), and 2) easily verified for explanation-label consistency (via intermediate labels in sub-explanations). In this work, we train a Llama-3-8B as CAVE; since there are no human-written corpora for AV explanations, we sample silver-standard explanations from GPT-4-TURBO and distill them into a pretrained Llama-3-8B. Results on three difficult AV datasets IMdB2, Blog-Auth, and FanFiction show that CAVE generates high quality explanations (as measured by automatic and human evaluation) as well as competitive task accuracies.
- Abstract(参考訳): 著者検証(AV)(2つの文書が同じ著者を持っているか?
AVはプライベートなオフラインモデルを必要とするプロプライエタリなドメインでよく使われ、ChatGPTのようなSOTAオンラインモデルは望ましくない。
他のSOTAシステムでは、例えばSiamese Networksは解釈不能であり、高信頼のアプリケーションでは信頼できない。
本稿では,この課題に対処する第一歩として,当社のCAVE(Controllable Authorship Verification Explanations): CAVEは,制御可能な自由テキストAV説明を生成する。
1)構造化(関連する言語的特徴に関する部分説明に分解できる)、
2) 説明ラベルの整合性(部分説明の中間ラベルによる)は容易に検証できる。
本研究は, Llama-3-8B をCAVE として訓練し, AV 説明のための人体記述コーパスがないため, GPT-4-TURBO から銀標準説明を採取し, プレトレーニングした Llama-3-8B に蒸留する。
3つの難しいAVデータセットIMdB2、Blog-Auth、FanFictionの結果は、CAVEが高品質な説明(自動的および人的評価によって測定される)と競争的タスクの精度を生成することを示している。
関連論文リスト
- InstructAV: Instruction Fine-tuning Large Language Models for Authorship Verification [9.151489275560413]
本稿では,著者確認のための新しいアプローチであるInstructAVを紹介する。
このアプローチでは,パラメータ効率の細かいチューニング(PEFT)手法と併用して,精度と説明可能性の向上を図る。
論文 参考訳(メタデータ) (2024-07-16T16:27:01Z) - Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation [52.72682366640554]
著者検証(英語: Authorship Verification, AV)とは、ある特定の著者によって書かれたか、別の人物によって書かれたのかを推測するテキスト分類タスクである。
多くのAVシステムは敵の攻撃に弱いことが示されており、悪意のある著者は、その書体スタイルを隠蔽するか、あるいは他の著者の書体を模倣することによって、積極的に分類者を騙そうとしている。
論文 参考訳(メタデータ) (2024-03-17T16:36:26Z) - "Task Success" is not Enough: Investigating the Use of Video-Language
Models as Behavior Critics for Catching Undesirable Agent Behaviors [24.083096164982365]
大規模生成モデルは意味のある候補解を抽出するのに有用であるが、それらはしばしばタスク制約やユーザの好みを見落としている。
具体的AIの文脈では、検証は多くの場合、命令で指定された目標条件が満たされたかどうかのみを評価する。
ロボットタスクのスコープを考えると、Goのような明示的な知識タスクに使用されるものに似たスクリプト検証を構築することは不可能である。
大きなビジョンと言語モデル(VLM)は、ビデオの中の望ましくないロボットの振る舞いを捉えるために、スケーラブルな行動批判として、ほぼ全能的なものですか?
論文 参考訳(メタデータ) (2024-02-06T18:07:43Z) - Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics
and Prompt Wording [0.0]
GPT-3を混乱させるものは何か、モデルが特定のセンシティブなトピックにどう反応するか、そしてモデル応答にどのような影響があるのかを解析する。
GPT-3は明らかな陰謀やステレオタイプと正しく一致しないが、一般的な誤解や論争では誤りを犯す。
モデル応答はプロンプトや設定に不整合であり、GPT-3の信頼性の欠如を強調している。
論文 参考訳(メタデータ) (2023-06-09T19:07:31Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-06T17:57:58Z) - Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。
クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。
我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
論文 参考訳(メタデータ) (2021-12-16T07:31:37Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳(メタデータ) (2021-09-25T22:53:24Z) - The Care Label Concept: A Certification Suite for Trustworthy and
Resource-Aware Machine Learning [5.684803689061448]
機械学習アプリケーションがユビキタスになった。これにより、マシンラーニングを信頼できるものにするための努力が増えた。
メソッドや学習モデルを理解するために時間を費やしたくない人のために、ケアラベルを提供しています。
ケアラベルは、保証が保持されているかどうかをテストする認定スイートの結果です。
論文 参考訳(メタデータ) (2021-06-01T14:16:41Z) - Backdoor Attack against Speaker Verification [86.43395230456339]
学習データを汚染することにより,話者検証モデルに隠れたバックドアを注入できることを示す。
また,既存のバックドア攻撃が話者認証攻撃に直接適用できないことも実証した。
論文 参考訳(メタデータ) (2020-10-22T11:10:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。