論文の概要: Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit
- arxiv url: http://arxiv.org/abs/2606.04274v1
- Date: Tue, 02 Jun 2026 22:58:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.416506
- Title: Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit
- Title（参考訳）: Long Live Fine-Tuning:Task-Specific Transformer Outform Zero-Shot LLMs for Misinformation Response Classification on Reddit (英語)
- Authors: JooYoung Lee, Lin Tian, Angela Brillantes, Adriana-Simona Mihăiţă, Marian-Andrei Rizoiu,
- Abstract要約: 我々は,誤情報談話の微妙な分類にスケールと一般能力が十分であるという暗黙の仮定を検証した。
BART-MNLI、3つのLlama変種、3つの商用フロンティアLLM、微調整されたDistilBERTとRoBERTaの9つのモデルを比較した。
検証のコンテキストでは、欠落した信念がコストの低いエラーである場合、タスク固有の微調整の方がより信頼性の高い選択である。
- 参考スコア（独自算出の注目度）: 5.437038443632133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) become default tools for online information verification, an implicit assumption follows them: that scale and general capability are sufficient for nuanced classification of misinformation discourse. We test this assumption directly on 900 Reddit comments spanning three PolitiFact-verified misinformation claims (environment, health, immigration), labelled as belief (propagates the claim), fact-check (corrects it), or other. We compare nine models across three paradigms -- BART-MNLI, three Llama variants, three commercial frontier LLMs (Claude Haiku 4.5, Gemini Flash Lite 2.5, Claude Sonnet 4.6), and fine-tuned DistilBERT and RoBERTa -- under universal and topic-specific label schemas. The assumption does not hold. Fine-tuned RoBERTa reaches 0.62 macro-$F_1$ against a best zero-shot result of 0.50 (Claude Haiku 4.5), at a fraction of the per-query cost; the supervised advantage is concentrated on the belief class, the implicit, affective category every zero-shot model under-detects. Scaling does not help: Llama-3-8B matches Llama-3-70B, and Claude Sonnet 4.6 underperforms the smaller Haiku under generic labels, collapsing belief detection to 0.17 and refusing outright on a subset of comments flagged as sensitive. This is a safety-alignment artefact, not a capacity limit. Label schema and topic jointly shape zero-shot performance, with the same model varying by more than 0.13 macro-$F_1$ across topics under matched labels. In a verification context, where missing belief is the costlier error, task-specific fine-tuning remains the more reliable choice despite the proliferation of large generative models.
- Abstract（参考訳）: 大規模言語モデル(LLM)がオンライン情報検証のデフォルトツールとなると、暗黙の仮定が続く。
この仮定は、PolitiFactが検証した3つの誤った情報(環境、健康、移民)にまたがる900のRedditコメントで直接テストします。
BART-MNLI、3つのLlama変種、3つの商用フロンティアLLM(Claude Haiku 4.5、Gemini Flash Lite 2.5、Claude Sonnet 4.6)と微調整されたDistilBERTとRoBERTaの3つのモデルを比較した。
その仮定は成り立たない。
微調整されたRoBERTaは0.62マクロ・$F_1$に達し、0.50(Claude Haiku 4.5)の最高のゼロショット結果に対して、クエリ当たりのコストのごく一部で、教師付きアドバンテージはゼロショットモデル以下のすべてのゼロショットモデルの暗黙的、感情的なカテゴリである信念クラスに集中する。
Llama-3-8B は Llama-3-70B と一致し、Claude Sonnet 4.6 はより小さな Haiku をジェネリックなラベルで性能を低下させ、信条検出を 0.17 に崩壊させ、センシティブなコメントのサブセットで完全に拒否する。
これは安全に配慮した人工物であり、容量制限ではない。
ラベルスキーマとトピックはゼロショットのパフォーマンスを共同で形成し、同じモデルは一致するラベルの下でトピック毎に0.13マクロ-$F_1$以上変化する。
信頼性の欠如がコストの低い誤りである検証の文脈では、大規模な生成モデルの普及にもかかわらず、タスク固有の微調整の方がより信頼性の高い選択である。
関連論文リスト
- Truthful AI Advisors: A Pre-Specified Benchmark for Large Language Model Honesty Under Preference Misalignment [0.8699280339422538]
大規模言語モデルは、ユーザの目的が一致していないアドバイザとして、ますます多くデプロイされる。
我々は、標準のクローフォード・ソベルの安価なトークモデルを、好みのミスアライメントの下での誠実さのベンチマークに変換する。
最も非形式的な平衡に対して4つのオーバーリベラルが1.8から4.2倍になる。
論文 参考訳（メタデータ） (2026-05-31T21:30:43Z) - Quality-Diversity Evolution for Discovering Diverse Vulnerabilities in LLM Safety [0.0]
セマンティックレベルで機能する品質多様性進化フレームワークを導入する。
我々は行動的な側面をまたいだ多様な攻撃のアーカイブを維持している。
意味表現は、体系的、モデル固有の弱点を示す解釈可能な攻撃を生成する。
論文 参考訳（メタデータ） (2026-05-30T16:40:24Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳（メタデータ） (2026-05-15T03:31:51Z) - Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models [0.0]
解析データベースの自然言語クエリ用にデプロイされたLLMは、2つの障害に悩まされる。
ClickHouseのCleaned Contoso Retailデータセットに対して,100の自然言語質問に対して,3つのフロンティアLSMをベンチマークした。
論文 参考訳（メタデータ） (2026-04-28T02:53:23Z) - LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification [0.0]
ブラジルの法律テキスト分類における言語モデル評価のための最初の公開ベンチマークであるLegalBench-BRを紹介する。
データセットは、サンタカタリーナ州裁判所(TJSC)による3,105の手続きからなる。
クラスバランステストセットでは、BERTimbau-LoRAは87.6%の精度と0.87のマクロF1を達成する(Claude 3.5 Haikuより+22pp、GPT-4o miniより+28pp)。
論文 参考訳（メタデータ） (2026-04-20T22:00:02Z) - Beyond Hate: Differentiating Uncivil and Intolerant Speech in Multimodal Content Moderation [3.5637794289327847]
我々は,2つの分離可能な次元,非公害と不寛容を区別する微粒なアノテーションスキームを導入する。
このスキームをHateful Memesデータセットから2,030のミームに適用する。
この結果から,詳細なアノテーションが既存の粗いラベルを補完し,共同で使用すると全体のモデル性能が向上することがわかった。
論文 参考訳（メタデータ） (2026-03-24T09:22:36Z) - Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。
適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。
モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
論文 参考訳（メタデータ） (2026-02-26T09:21:12Z) - An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。
本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。
微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
論文 参考訳（メタデータ） (2025-05-25T09:18:24Z) - StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment [70.87096576708898]
本稿では,ゼロショットモデルの微調整を行うフレームワークであるStarFTを提案する。
StarFTはウォーターバードグループのシフトシナリオにおいて、それぞれ14.30%、平均精度を3.02%向上させる。
論文 参考訳（メタデータ） (2025-05-19T15:15:35Z) - LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳（メタデータ） (2024-10-27T16:23:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。