Fugu-MT 論文翻訳(概要): Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs

論文の概要: Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs

arxiv url: http://arxiv.org/abs/2408.09742v2
Date: Thu, 12 Jun 2025 03:16:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-13 15:37:22.028445
Title: Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs
Title（参考訳）: Paired Completion: LLMによるスケールでの課題フレーミングのフレキシブル定量化
Authors: Simon D Angus, Lachlan O'Neill,
Abstract要約: 最小限の例を用いてコントラストフレームを検出する新しい手法である「ペア完備化」を導入する。我々は、ペア化完了は、プロンプトベースおよび埋め込みベースの手法に代えて、コスト効率が高く、低バイアスであることを示した。
参考スコア（独自算出の注目度）: 0.41436032949434404
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Detecting issue framing in text - how different perspectives approach the same topic - is valuable for social science and policy analysis, yet challenging for automated methods due to subtle linguistic differences. We introduce `paired completion', a novel approach using LLM next-token log probabilities to detect contrasting frames using minimal examples. Through extensive evaluation across synthetic datasets and a human-labeled corpus, we demonstrate that paired completion is a cost-efficient, low-bias alternative to both prompt-based and embedding-based methods, offering a scalable solution for analyzing issue framing in large text collections, especially suited to low-resource settings.
Abstract（参考訳）: テキストにおける問題フレーミングの検出 - 異なる視点が同じトピックにどのようにアプローチするか - は、社会科学と政策分析にとって価値があるが、微妙な言語的差異のため、自動化手法では難しい。最小限の例を用いてコントラストフレームを検出するために, LLM の次トーケンログ確率を用いた新しい手法である 'paired completion' を導入する。合成データセットと人ラベルコーパスの広範な評価を通じて、ペア化完了はプロンプトベースおよび埋め込みベースの手法に代えてコスト効率が高く、低バイアスであり、特に低リソース設定に適した大規模なテキストコレクションにおける問題フレーミングを分析するスケーラブルなソリューションを提供する。

関連論文リスト

Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
本稿では,半教師付き感情分析のためのフレームワークを提案する。テキストを意味的に拡張する2つのプロンプト戦略を導入する。実験により,従来の半教師付き手法よりも優れた性能が得られた。
論文参考訳（メタデータ） (2025-01-29T12:03:11Z)
Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
論文参考訳（メタデータ） (2025-01-14T14:49:14Z)
A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文参考訳（メタデータ） (2024-10-29T04:14:23Z)
Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models [24.085614720512744]
本研究では,大規模言語モデル (LLM) がテキスト分類における選択肢の数や配置の変化に対して脆弱であることを示す。重要なボトルネックは、曖昧な決定境界と、特定のトークンや位置に対する固有のバイアスから生じます。我々のアプローチは、ペア比較が境界のあいまいさと固有のバイアスを効果的に緩和できるという経験的観察に基づいている。
論文参考訳（メタデータ） (2024-06-11T06:53:19Z)
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文参考訳（メタデータ） (2024-05-31T20:15:10Z)
SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
論文参考訳（メタデータ） (2024-05-24T20:32:49Z)
Towards Next-Generation Steganalysis: LLMs Unleash the Power of Detecting Steganography [18.7168443402118]
言語ステガノグラフィーは、特にAI生成技術の出現と共に、メッセージを隠蔽するための便利な実装を提供する。既存の手法は、記号統計学の側面から、ステガノグラフテキストと正規テキストの分布差を見つけることに限定されている。本稿では,大規模言語モデル(LLM)のヒューマンライクなテキスト処理機能を用いて,人間の知覚との違いを実現することを提案する。
論文参考訳（メタデータ） (2024-05-15T04:52:09Z)
QuaLLM: An LLM-based Framework to Extract Quantitative Insights from Online Forums [10.684484559041284]
本研究は,オンラインフォーラム上でテキストデータから量的洞察を分析し,抽出する新しいフレームワークであるQuaLLMを紹介する。このフレームワークを適用して、Redditの2つのライドシェアワーカーコミュニティからの100万以上のコメントを分析しました。
論文参考訳（メタデータ） (2024-05-08T18:20:03Z)
Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文参考訳（メタデータ） (2023-10-09T07:27:15Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文参考訳（メタデータ） (2022-06-19T08:55:07Z)
Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文参考訳（メタデータ） (2021-06-15T20:55:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。