論文の概要: Count Evidence, Not Sentences: Tempered Evidence Fusion of LLM Judgments for Long-Text Value Measurement

• arxiv url: http://arxiv.org/abs/2609.27165v1
• Date: Tue, 22 Sep 2026 23:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.804634
• Title: Count Evidence, Not Sentences: Tempered Evidence Fusion of LLM Judgments for Long-Text Value Measurement
• Title（参考訳）: 数エビデンス:長文値測定のためのLLM判断のテンポエビデンス融合
• Abstract要約: エビデンス・フュージョン(Evidence Fusion, TEF)は、正規化情報ゲインによって各文の対数重み付けを行う訓練自由規則である。 MINDは5年間の公開イベントと6つの価値次元にまたがる8,358の中国語と英語の投稿のベンチマークである。 TEFは、Direct、Majority Vote、Soft Voteの中で最強のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 29.773755818989653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to measure public value orientations from long social media posts, yet such posts often mix background, quotations, concessions, and only a few stance-bearing sentences. Existing approaches either ask the model to predict a document-level label directly, which can be overconfident, or aggregate sentence-level predictions by majority or soft voting, which treat uncertain and decisive sentences as equally informative. We formulate long-text value measurement as a decision-fusion problem and propose Tempered Evidence Fusion (TEF), a training-free rule that weights each sentence's log-odds by its normalized information gain, as derived from a generalized Bayesian posterior. This makes the fused score nearly vanish for uncertain sentences while preserving the Bayes-optimal weight of decisive evidence. We further introduce Multi-event Insight Network Dimensions (MIND), a benchmark of 8,358 Chinese and English posts spanning five years of public events and six value dimensions. On MIND, TEF outperforms the strongest baseline among Direct, Majority Vote, and Soft Vote by an average of 4.5 accuracy points and 4.6 macro-F1 points across five LLMs and two languages. MIND dataset and code are available at https://github.com/Kzczc/ICASSP2027-TEF.
• Abstract（参考訳）: 大きな言語モデル (LLMs) は、ソーシャルメディアの長い投稿から公共価値の向きを測定するのにますます使われているが、そのような投稿は背景、引用、譲歩、少数のスタンス付き文を混在させることが多い。 既存のアプローチでは、自信過剰な文書レベルのラベルを直接予測するようモデルに求めるか、多数決による文レベルの予測を集約するか、あるいはソフト投票によって不確実な文章と決定的な文章を等しく情報的扱いする。 決定融合問題として長文値測定を定式化し,正規化情報ゲインにより各文の対数重み付けを行う訓練自由規則であるテンペレエビデンス・フュージョン(TEF)を提案する。 これにより、融合したスコアは、決定的な証拠のベイズ最適重みを保ちながら、不確実な文でほぼ消滅する。 5年間の公開イベントと6つの価値次元にまたがる8,358の中国語と英語の投稿のベンチマークであるMulti-event Insight Network Dimensions (MIND)についても紹介する。 MINDでは、5つのLLMと2つの言語で平均4.5の精度ポイントと4.6のマクロF1ポイントで、DMFはDirect、Majority Vote、Soft Voteの中で最強のベースラインを上回っている。 MINDデータセットとコードはhttps://github.com/Kzczc/ICASSP2027-TEFで公開されている。

関連論文リスト

• On Positional Bias of Faithfulness for Long-form Summarization [83.63283027830657]
  LLM(Large Language Models)は、長いコンテキスト設定において、入力の途中で情報に過小評価される位置バイアスを示すことが多い。 長文要約におけるこのバイアスの存在、その忠実性への影響、およびこのバイアスを軽減するための様々な技術について検討する。
  論文  参考訳（メタデータ） (2024-10-31T03:50:15Z)
• On Context Utilization in Summarization with Large Language Models [83.84459732796302]
  大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。 最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。 要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
  論文  参考訳（メタデータ） (2023-10-16T16:45:12Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。