Fugu-MT 論文翻訳(概要): Collaborative Stance Detection via Small-Large Language Model Consistency Verification

論文の概要: Collaborative Stance Detection via Small-Large Language Model Consistency Verification

arxiv url: http://arxiv.org/abs/2502.19954v1
Date: Thu, 27 Feb 2025 10:30:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-28 14:59:14.165307
Title: Collaborative Stance Detection via Small-Large Language Model Consistency Verification
Title（参考訳）: 小言語モデルの一貫性検証による協調的スタンス検出
Authors: Yu Yan, Sheng Sun, Zixiang Tang, Teli Liu, Min Liu,
Abstract要約: ソーシャルメディア上のスタンス検出は、特定のターゲットに対するツイートで表される態度を特定することを目的としている。スタンス検出にLLM(Large Language Models)を多用することは、現実のソーシャルメディア監視システムでは現実的ではない。スモールラージ言語モデル一貫性を用いたtextbfunderlineCollaborative Stance Detectionを提案する。
参考スコア（独自算出の注目度）: 8.223369871697592
License:
Abstract: Stance detection on social media aims to identify attitudes expressed in tweets towards specific targets. Current studies prioritize Large Language Models (LLMs) over Small Language Models (SLMs) due to the overwhelming performance improving provided by LLMs. However, heavily relying on LLMs for stance detection, regardless of the cost, is impractical for real-world social media monitoring systems that require vast data analysis. To this end, we propose \textbf{\underline{Co}}llaborative Stance Detection via Small-Large Language Model Consistency \textbf{\underline{Ver}}ification (\textbf{CoVer}) framework, which enhances LLM utilization via context-shared batch reasoning and logical verification between LLM and SLM. Specifically, instead of processing each text individually, CoVer processes texts batch-by-batch, obtaining stance predictions and corresponding explanations via LLM reasoning in a shared context. Then, to exclude the bias caused by context noises, CoVer introduces the SLM for logical consistency verification. Finally, texts that repeatedly exhibit low logical consistency are classified using consistency-weighted aggregation of prior LLM stance predictions. Our experiments show that CoVer outperforms state-of-the-art methods across multiple benchmarks in the zero-shot setting, achieving 0.54 LLM queries per tweet while significantly enhancing performance. Our CoVer offers a more practical solution for LLM deploying for social media stance detection.
Abstract（参考訳）: ソーシャルメディア上のスタンス検出は、特定のターゲットに対するツイートで表される態度を特定することを目的としている。最近の研究は、LLMによる圧倒的な性能向上のために、小言語モデル(SLM)よりもLLM(Large Language Model)を優先している。しかし、コストに関わらず、姿勢検出にLLMを強く依存することは、膨大なデータ分析を必要とする実世界のソーシャルメディア監視システムにとって現実的ではない。そこで本稿では,LLM と SLM 間のコンテキスト共有バッチ推論と論理的検証による LLM 利用率の向上を図った小言語モデルによる \textbf{\underline{Co}}llaborative Stance Detection を提案する。具体的には、個々のテキストを個別に処理する代わりに、CoVerはバッチ・バイ・バッチを処理し、共有コンテキストにおけるLCM推論によるスタンス予測とそれに対応する説明を得る。次に、コンテキストノイズによるバイアスを排除するために、CoVerは論理的整合性検証のためのSLMを導入する。最後に、論理的整合性を繰り返し示すテキストは、以前のLCMの姿勢予測の整合性重み付けによって分類される。実験の結果、CoVerはゼロショット設定で複数のベンチマークで最先端の手法より優れており、1ツイートあたり0.54 LLMクエリを達成でき、性能は著しく向上していることがわかった。私たちのCoVerは、ソーシャルメディアのスタンス検出にLLMをデプロイするための、より実用的なソリューションを提供します。

関連論文リスト

Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文参考訳（メタデータ） (2025-02-17T18:59:02Z)
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
論文参考訳（メタデータ） (2025-02-13T02:51:17Z)
ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
大型言語モデル (LLM) は人間の好むテキストを生成する。本稿では,これらのモデルで共有される共通特性について述べる。報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-05-27T17:38:33Z)
RepEval: Effective Text Evaluation with LLM Representation [55.26340302485898]
RepEvalは、評価のためにLarge Language Models(LLM)表現の投影を利用するメトリクスである。我々の研究は、LLM表現に埋め込まれたテキスト品質に関する情報の豊かさを強調し、新しいメトリクスの開発のための洞察を提供する。
論文参考訳（メタデータ） (2024-04-30T13:50:55Z)
$\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
論文参考訳（メタデータ） (2024-03-27T08:08:00Z)
Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
論文参考訳（メタデータ） (2024-03-05T04:58:37Z)
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
論文参考訳（メタデータ） (2023-11-15T19:52:11Z)
LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。ゼロショット学習よりもパフォーマンスが向上する。
論文参考訳（メタデータ） (2023-10-12T17:17:27Z)
Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
論文参考訳（メタデータ） (2023-10-08T06:17:39Z)
Semantic Consistency for Assuring Reliability of Large Language Models [9.876355290198639]
大規模言語モデル(LLM)は、様々な自然言語タスクに対して顕著な流布と能力を示す。セマンティック一貫性の一般的な尺度を導入し、様々なLLMの性能を評価するために、この指標の複数バージョンを定式化する。本稿では,Ask-to-Choose (A2C) と呼ばれる新しいプロンプト戦略を提案する。
論文参考訳（メタデータ） (2023-08-17T18:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。