論文の概要: CAVE: Controllable Authorship Verification Explanations

• arxiv url: http://arxiv.org/abs/2406.16672v2
• Date: Thu, 5 Sep 2024 06:44:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 02:22:00.836988
• Title: CAVE: Controllable Authorship Verification Explanations
• Title（参考訳）: CAVE: 管理可能なオーサシップ検証説明
• Authors: Sahana Ramnath, Kartik Pandey, Elizabeth Boschee, Xiang Ren,
• Abstract要約: オーサシップ検証(AV)は、プライベートなオフラインモデルを必要とするプロプライエタリなドメインでよく使用される。 CAVEは(1)構造化されるように制御された自由テキストAV説明を生成し、(2)説明-ラベル整合性を容易に検証する。 IMDb62、Blog-Auth、Fanfictionの3つの難しいAVデータセットの結果は、CAVEが高品質な説明を生成することを示している。
• 参考スコア（独自算出の注目度）: 29.537315481366655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Authorship Verification (AV) (do two documents have the same author?) is essential in many sensitive real-life applications. AV is often used in proprietary domains that require a private, offline model, making SOTA online models like ChatGPT undesirable. Current offline models however have lower downstream utility due to low accuracy/scalability (eg: traditional stylometry AV systems) and lack of accessible post-hoc explanations. In this work, we take the first step to address the above challenges with our trained, offline Llama-3-8B model CAVE (Controllable Authorship Verification Explanations): CAVE generates free-text AV explanations that are controlled to be (1) structured (can be decomposed into sub-explanations in terms of relevant linguistic features), and (2) easily verified for explanation-label consistency (via intermediate labels in sub-explanations). We first engineer a prompt that can generate silver training data from a SOTA teacher model in the desired CAVE output format. We then filter and distill this data into a pretrained Llama-3-8B, our carefully selected student model. Results on three difficult AV datasets IMDb62, Blog-Auth, and Fanfiction show that CAVE generates high quality explanations (as measured by automatic and human evaluation) as well as competitive task accuracies.
• Abstract（参考訳）: 著者検証(AV)(2つの文書が同じ著者を持っているか? AVはプライベートなオフラインモデルを必要とするプロプライエタリなドメインでよく使われ、ChatGPTのようなSOTAオンラインモデルは望ましくない。 しかし、現在のオフラインモデルは、低精度/スケーラビリティ(例えば、従来のスタイロメトリーAVシステム)とアクセス可能なポストホックな説明の欠如により、ダウンストリームの有用性が低下している。 本研究は,学習したオフラインの Llama-3-8B モデル CAVE (Controllable Authorship Verification Explanations): CAVE は,(1) 構造化された自由文の AV 説明を生成する(関連する言語的特徴から部分説明に分解できる)。 我々はまず,SOTA教師モデルから所望のCAVE出力形式で銀のトレーニングデータを生成するプロンプトを設計する。 次に、このデータを慎重に選択した学生モデルであるLlama-3-8Bにフィルタし、蒸留する。 IMDb62、Blog-Auth、Fanfictionの3つの難しいAVデータセットの結果、CAVEは(自動的および人的評価によって測定される)高品質な説明と、競争力のあるタスクアキュラシーを生成する。

関連論文リスト

• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Interpret the Internal States of Recommendation Model with Sparse Autoencoder [26.021277330699963]
  RecSAEは、レコメンデーションモデルの内部状態を解釈するための、自動で一般化可能な探索手法である。 我々は、推薦モデルの内部アクティベーションを再構築するために、疎度制約付きオートエンコーダを訓練する。 我々は、潜在活性化と入力項目列の関係に基づき、概念辞書の構築を自動化した。
  論文  参考訳（メタデータ） (2024-11-09T08:22:31Z)
• Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation [15.94564349084642]
  自己合理化法は典型的には自然言語推論タスクで使用される。 注釈付きラベルを用いて精度予測を学習するためのモデルを微調整する。 3つの大きな言語モデルから合成説明を生成する。
  論文  参考訳（メタデータ） (2024-10-05T02:19:49Z)
• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• InstructAV: Instruction Fine-tuning Large Language Models for Authorship Verification [9.151489275560413]
  本稿では,著者確認のための新しいアプローチであるInstructAVを紹介する。 このアプローチでは,パラメータ効率の細かいチューニング(PEFT)手法と併用して,精度と説明可能性の向上を図る。
  論文  参考訳（メタデータ） (2024-07-16T16:27:01Z)
• Clarify: Improving Model Robustness With Natural Language Corrections [59.041682704894555]
  モデルを教える標準的な方法は、大量のデータを提供することです。 このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。 モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
  論文  参考訳（メタデータ） (2024-02-06T05:11:38Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• Who Wrote it and Why? Prompting Large-Language Models for Authorship Verification [9.751557360880204]
  オーサシップ検証(AV)は自然言語処理(NLP)と計算言語学の基本的な課題である。 本稿では,AVのLarge-Language Models(LLMs)を利用した新しい手法であるPromptAVを提案する。
  論文  参考訳（メタデータ） (2023-10-12T08:24:15Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• GLENet: Boosting 3D Object Detectors with Generative Label Uncertainty Estimation [70.75100533512021]
  本稿では,対象物の潜在的可算有界箱の多様性として,ラベルの不確実性問題を定式化する。 本稿では,条件付き変分オートエンコーダを応用した生成フレームワークであるGLENetを提案する。 GLENetが生成するラベルの不確実性はプラグアンドプレイモジュールであり、既存のディープ3D検出器に便利に統合することができる。
  論文  参考訳（メタデータ） (2022-07-06T06:26:17Z)
• Non-Transferable Learning: A New Approach for Model Verification and Authorization [7.686781778077341]
  オーナシップの認証と使用許可という2つの一般的な保護方法がある。 学習モデルにおける排他的データ表現をキャプチャする新しい手法であるNon-Transferable Learning (NTL)を提案する。 我々のNTLベースの認証アプローチは、不正なデータに対する使用性能を著しく低下させることで、データ中心の使用保護を提供します。
  論文  参考訳（メタデータ） (2021-06-13T04:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。