論文の概要: How Persuasive is Your Context?
- arxiv url: http://arxiv.org/abs/2509.17879v1
- Date: Mon, 22 Sep 2025 15:15:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.455299
- Title: How Persuasive is Your Context?
- Title(参考訳): コンテキストはいかに説得力があるか?
- Authors: Tu Nguyen, Kevin Du, Alexander Miserlis Hoyle, Ryan Cotterell,
- Abstract要約: 我々は,ある文脈がLMに対してどの程度説得的であるかを定量化するために,ターゲット説得スコア(TPS)を導入した。
TPSは、コンテキストがモデルの本来の回答分布をターゲット分布にどの程度シフトするかを測定する。
経験的に、一連の実験を通して、TPSは以前提案された指標よりも、説得性に関するより曖昧な概念を捉えていることを示す。
- 参考スコア(独自算出の注目度): 85.2011141143185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Two central capabilities of language models (LMs) are: (i) drawing on prior knowledge about entities, which allows them to answer queries such as "What's the official language of Austria?", and (ii) adapting to new information provided in context, e.g., "Pretend the official language of Austria is Tagalog.", that is pre-pended to the question. In this article, we introduce targeted persuasion score (TPS), designed to quantify how persuasive a given context is to an LM where persuasion is operationalized as the ability of the context to alter the LM's answer to the question. In contrast to evaluating persuasiveness only by inspecting the greedily decoded answer under the model, TPS provides a more fine-grained view of model behavior. Based on the Wasserstein distance, TPS measures how much a context shifts a model's original answer distribution toward a target distribution. Empirically, through a series of experiments, we show that TPS captures a more nuanced notion of persuasiveness than previously proposed metrics.
- Abstract(参考訳): 言語モデル(LM)の2つの中心的な能力は次のとおりである。
(i)「オーストリアの公用語とは何か」等の質問に答えられる存在についての事前の知識を記入し、
(ii)「オーストリアの公用語はタガログ」という文脈で提供される新しい情報に適応すること。
本稿では,ある文脈がLMに対してどの程度説得力を持つかの定量化を目的とした,目的的説得スコア(TPS)について紹介する。
TPSは、モデルの下で強欲にデコードされた答えを検査することによってのみ説得性を評価するのとは対照的に、よりきめ細やかなモデル挙動のビューを提供する。
ワッサースタイン距離に基づいて、TPSは、コンテキストがモデルの元の回答分布をターゲット分布にどの程度シフトするかを測定する。
経験的に、一連の実験を通して、TPSは以前提案された指標よりも、説得性に関するより曖昧な概念を捉えていることを示す。
関連論文リスト
- Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers [12.94303673025761]
変圧器に基づく言語モデルにおいて,単語翻訳作業中の潜時表現(潜時表現)を解析する。
出力言語は、翻訳される概念よりも前のレイヤの潜在層にエンコードされていることが分かりました。
異なる言語にまたがる概念の平均表現にパッチを当てることは、モデルの翻訳能力に影響を与えないことを示す。
論文 参考訳(メタデータ) (2024-11-13T16:26:19Z) - Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language [41.052284715017606]
本研究では,Large Language Models (LLM) の説得的テキスト生成能力について検討する。
特定のドメインやタイプの説得に焦点を当てた先行研究とは対照的に、諸藩をまたいだ総合的研究を行う。
我々は、短いテキストのペア対からなる新しいデータセットPersuasive-Pairを構築し、LLMによって書き直され、説得言語を増幅または縮小する。
論文 参考訳(メタデータ) (2024-06-25T17:40:47Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳(メタデータ) (2024-02-01T14:46:35Z) - DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。
そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
論文 参考訳(メタデータ) (2023-06-15T10:41:23Z) - Human Interpretation of Saliency-based Explanation Over Text [65.29015910991261]
テキストデータ上でのサリエンシに基づく説明について検討する。
人はしばしば説明を誤って解釈する。
本稿では,過度知覚と過小認識のモデル推定に基づいて,サリエンシを調整する手法を提案する。
論文 参考訳(メタデータ) (2022-01-27T15:20:32Z) - GreaseLM: Graph REASoning Enhanced Language Models for Question
Answering [159.9645181522436]
GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。
GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
論文 参考訳(メタデータ) (2022-01-21T19:00:05Z) - Do Context-Aware Translation Models Pay the Right Attention? [61.25804242929533]
コンテキスト対応機械翻訳モデルは文脈情報を活用するように設計されているが、しばしば失敗する。
本稿では,人間の翻訳者が曖昧な単語を解くために使用する文脈について述べる。
SCAT(Supporting Context for Ambiguous Translations)は、14K翻訳のコンテキストワードをサポートする新しい英仏データセットです。
SCATを用いて,支援語の位置的特徴と語彙的特徴をあいまいにするために使用される文脈を詳細に分析する。
論文 参考訳(メタデータ) (2021-05-14T17:32:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。