論文の概要: Am I Blue or Is My Hobby Counting Teardrops? Expression Leakage in Large Language Models as a Symptom of Irrelevancy Disruption
- arxiv url: http://arxiv.org/abs/2508.01708v1
- Date: Sun, 03 Aug 2025 10:29:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.023245
- Title: Am I Blue or Is My Hobby Counting Teardrops? Expression Leakage in Large Language Models as a Symptom of Irrelevancy Disruption
- Title（参考訳）: Am I Blue か My Hobby Counting Teardrops か? 関連性障害の症状としての大規模言語モデルにおける表現漏洩
- Authors: Berkay Köprü, Mehrzad Mashal, Yigit Gurses, Akos Kadar, Maximilian Schmitt, Ditty Mathew, Felix Burkhardt, Florian Eyben, Björn W. Schuller,
- Abstract要約: 本稿では,大言語モデルが入力コンテキストと意味的に無関係な感傷的な表現を生成する新しい現象である式リークを導入する。
実験の結果、モデルがパラメータ空間でスケールするにつれて、式リークはLLMファミリー内で減少することがわかった。
さらに,本実験は, 負の感情が刺激によって注入されると, 肯定的な感情よりも生成過程が破壊され, 高い発現リーク率が生じることを示した。
- 参考スコア（独自算出の注目度）: 32.655632394093345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have advanced natural language processing (NLP) skills such as through next-token prediction and self-attention, but their ability to integrate broad context also makes them prone to incorporating irrelevant information. Prior work has focused on semantic leakage, bias introduced by semantically irrelevant context. In this paper, we introduce expression leakage, a novel phenomenon where LLMs systematically generate sentimentally charged expressions that are semantically unrelated to the input context. To analyse the expression leakage, we collect a benchmark dataset along with a scheme to automatically generate a dataset from free-form text from common-crawl. In addition, we propose an automatic evaluation pipeline that correlates well with human judgment, which accelerates the benchmarking by decoupling from the need of annotation for each analysed model. Our experiments show that, as the model scales in the parameter space, the expression leakage reduces within the same LLM family. On the other hand, we demonstrate that expression leakage mitigation requires specific care during the model building process, and cannot be mitigated by prompting. In addition, our experiments indicate that, when negative sentiment is injected in the prompt, it disrupts the generation process more than the positive sentiment, causing a higher expression leakage rate.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、次世代の予測や自己注意を通じて、高度な自然言語処理(NLP)技術を持つが、広義のコンテキストを統合する能力は、無関係な情報を組み込む傾向がある。
これまでの研究は意味的リーク、意味的に無関係な文脈によって導入されたバイアスに焦点を当ててきた。
本稿では,LLMが入力コンテキストと意味的に無関係な感傷的な表現を体系的に生成する新しい現象である式リークを紹介する。
式リークを分析するために、ベンチマークデータセットと、Common-crawlから自由形式のテキストからデータセットを自動的に生成するスキームを併用して収集する。
また,人間の判断とよく相関する自動評価パイプラインを提案し,各分析モデルに対するアノテーションの必要性から切り離してベンチマークを高速化する。
実験の結果、モデルがパラメータ空間でスケールするにつれて、式リークはLLMファミリー内で減少することがわかった。
一方, モデル構築過程において, 表現リークの軽減には特別なケアが必要であり, プロンプトによる緩和は不可能であることを示す。
さらに,本実験は, 負の感情が刺激によって注入されると, 肯定的な感情よりも生成過程が破壊され, 高い発現リーク率が生じることを示した。
関連論文リスト
- Knowing When to Stop: Dynamic Context Cutoff for Large Language Models [5.800837821046764]
大規模言語モデル(LLM)は、クエリに応答するために必要な情報がコンテキスト内にローカライズされる場合、入力コンテキスト全体を無差別に処理する。
タスク関連情報を取得する際に, LLM が自己決定処理を行えるようなヒューマンインスピレーション付き手法である動的コンテキストカットオフを提案する。
論文 参考訳（メタデータ） (2025-02-03T03:38:29Z) - Scaling Down Semantic Leakage: Investigating Associative Bias in Smaller Language Models [0.4944564023471818]
私はQwen2.5モデルファミリを使用して、500Mから7Bパラメータの小さなモデルがセマンティックリークを少なくするかどうかを調査しています。
モデルの性能をシステマティックに評価するために、特定の種類のセマンティックアソシエーションに分類された色中心のプロンプトの新しいデータセットを紹介します。
結果は、より小さなモデルでは全体的な意味的リークが少ないことを示しているが、この傾向は厳密に線形ではないことを示している。
論文 参考訳（メタデータ） (2025-01-11T21:03:22Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。
提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
論文 参考訳（メタデータ） (2023-11-16T02:56:29Z) - An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。
逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
論文 参考訳（メタデータ） (2023-11-13T17:01:12Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳（メタデータ） (2023-10-16T16:42:01Z) - Making Retrieval-Augmented Language Models Robust to Irrelevant Context [55.564789967211844]
ALMの重要なデシプラタムは、検索された情報が関連する場合のパフォーマンスをモデル化するのに役立つことである。
近年の研究では、検索の増大がパフォーマンスに悪影響を及ぼすことが示されている。
論文 参考訳（メタデータ） (2023-10-02T18:52:35Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳（メタデータ） (2023-05-23T03:55:50Z) - Attention-likelihood relationship in transformers [2.8304391396200064]
我々は、大言語モデル(LLM)が文脈外単語をどのように表現しているかを分析し、その意味を捉えるために、与えられた文脈への依存を調査する。
我々の可能性誘導型テキスト摂動は、トランスフォーマーベース言語モデルにおけるトークン確率と注意値の相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-03-15T00:23:49Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2020-05-01T21:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。