論文の概要: Application and Optimization of Large Models Based on Prompt Tuning for Fact-Check-Worthiness Estimation

• arxiv url: http://arxiv.org/abs/2504.18104v1
• Date: Fri, 25 Apr 2025 06:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.661889
• Title: Application and Optimization of Large Models Based on Prompt Tuning for Fact-Check-Worthiness Estimation
• Title（参考訳）: Prompt Tuningに基づく大規模モデルのFact-Check-Worthiness推定への応用と最適化
• Authors: Yinglong Yu, Hao Shen, Zhengyi Lyu, Qi He,
• Abstract要約: 我々は,プロンプトチューニングを用いて,方法論レベルでのファクトチェック・信頼性推定モデルを構築した。 我々は,インコンテキスト学習を確立し,インプロンプトチューニング技術を活用し,クレームに事実チェックの信頼性があるかどうかを判断する精度を向上させる。
• 参考スコア（独自算出の注目度）: 9.577859600179083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In response to the growing problem of misinformation in the context of globalization and informatization, this paper proposes a classification method for fact-check-worthiness estimation based on prompt tuning. We construct a model for fact-check-worthiness estimation at the methodological level using prompt tuning. By applying designed prompt templates to large language models, we establish in-context learning and leverage prompt tuning technology to improve the accuracy of determining whether claims have fact-check-worthiness, particularly when dealing with limited or unlabeled data. Through extensive experiments on public datasets, we demonstrate that the proposed method surpasses or matches multiple baseline methods in the classification task of fact-check-worthiness estimation assessment, including classical pre-trained models such as BERT, as well as recent popular large models like GPT-3.5 and GPT-4. Experiments show that the prompt tuning-based method proposed in this study exhibits certain advantages in evaluation metrics such as F1 score and accuracy, thereby effectively validating its effectiveness and advancement in the task of fact-check-worthiness estimation.
• Abstract（参考訳）: グローバリゼーションと情報化の文脈における誤情報の増加に対処して,即時チューニングに基づくファクトチェックの信頼性評価のための分類手法を提案する。 我々は,プロンプトチューニングを用いて,方法論レベルでのファクトチェック・信頼性推定モデルを構築した。 大規模言語モデルに設計済みのプロンプトテンプレートを適用することで,特に限定データや未ラベルデータを扱う場合において,クレームが事実チェックに有用かどうかを判断する精度を向上させるために,インコンテキスト学習とプロンプトチューニング技術を活用する。 公開データセットに関する広範な実験を通じて,提案手法は,BERT などの古典的事前学習モデルや,GPT-3.5 や GPT-4 といった最近の大規模モデルを含む,ファクトチェック・重要度評価の分類タスクにおいて,複数のベースライン手法を上回り,適合することを示した。 実験の結果,本研究では,F1スコアや精度などの評価指標において,即時チューニングに基づく手法が有意な利点を示し,ファクトチェック・リスク評価の課題において,その有効性と進歩を効果的に検証できることが示唆された。

関連論文リスト

• FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
  大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。 既存のファクトチェック評価手法は静的データセットと分類基準に依存している。 本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
  論文  参考訳（メタデータ） (2025-02-25T07:44:22Z)
• Developing a Dataset-Adaptive, Normalized Metric for Machine Learning Model Assessment: Integrating Size, Complexity, and Class Imbalance [0.0]
  精度、F1スコア、精度といった従来のメトリクスは、機械学習モデルを評価するために頻繁に使用される。 サイズ、特徴次元、クラス不均衡、信号対雑音比といったデータセット特性を取り入れたデータセット適応型正規化メトリックを示す。
  論文  参考訳（メタデータ） (2024-12-10T07:10:00Z)
• Quantifying Local Model Validity using Active Learning [2.8078480738404]
  機械学習モデルの現実的な応用は、しばしば法律やポリシーに基づく規制の対象となる。 これらの規則のいくつかはモデルの妥当性を保証することを必要とし、すなわち近似誤差は閾値よりも小さい。 本稿では,モデル誤差を学習し,有効学習を通じて必要なデータ量を減らしながら,局所的妥当性推定値を取得することを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:20:28Z)
• A Framework for Efficient Model Evaluation through Stratification, Sampling, and Estimation [17.351089059392674]
  本稿では,階層化,サンプリング,推定を含むモデル評価のためのフレームワークを提案する。 モデル性能の正確な予測に基づいて,k平均クラスタリングによる成層化を行うことで,効率的に推定できることを示す。 また、データセットのラベル付けされていない部分におけるモデル精度の予測を利用するモデル支援推定器は、一般的に従来の推定値よりも効率的であることがわかった。
  論文  参考訳（メタデータ） (2024-06-11T14:49:04Z)
• Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
  バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。 しかし、モデルスコアは真の肯定率と一致しないことが多い。 これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
  論文  参考訳（メタデータ） (2023-11-20T12:40:25Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
  規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。 このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。 合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
  論文  参考訳（メタデータ） (2021-10-22T15:03:20Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。