論文の概要: Correcting Mode Collapse in Silicon Sampling with Semantic Similarity Rating
- arxiv url: http://arxiv.org/abs/2607.28550v1
- Date: Thu, 30 Jul 2026 17:20:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.689732
- Title: Correcting Mode Collapse in Silicon Sampling with Semantic Similarity Rating
- Title(参考訳): セマンティック類似性レーティングによるシリコンサンプリングの補正モード崩壊
- Abstract要約: 政治的態度を問うと,セマンティック類似度レーティングがシリコンサンプリング応答の忠実度を向上させることができるか分析する。
この手法により, シリコンサンプリング応答分布の忠実度が向上し, キャリブレーションのパラメータがほとんどないことがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Silicon sampling refers to the use of Large Language Models (LLMs) to generate responses to surveys. It has shown promise, but tends to generate response distributions with unrealistically low variance. We argue that this mode collapse is due to LLMs failure to generate numeric data, and that text responses may be better suited for this task. We analyze whether Semantic Similarity Rating can improve the fidelity of silicon sampling responses when asked about political attitudes. This method solicits text-only responses from LLMs, then maps this to a numeric scale using text embeddings. We find that this method both improves the fidelity of silicon sampling response distributions, and has few parameters to calibrate.
- Abstract(参考訳): シリコンサンプリング(Silicon sample)とは、調査に対する応答を生成するためにLLM(Large Language Models)を使用することを指す。
将来性を示しているが、非現実的に低い分散を持つ応答分布を生成する傾向がある。
我々は、このモードの崩壊は、LLMが数値データを生成するのに失敗したためであり、このタスクにテキスト応答がより適しているのではないかと論じている。
政治的態度を問うと,セマンティック類似度レーティングがシリコンサンプリング応答の忠実度を向上させることができるか分析する。
この方法は LLM からテキストのみの応答をソリケートし、それをテキスト埋め込みを用いて数値スケールにマッピングする。
この手法により, シリコンサンプリング応答分布の忠実度が向上し, キャリブレーションのパラメータがほとんどないことがわかった。
関連論文リスト
- ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers [0.3431096786139341]
本稿では,大規模な言語モデルによって生成された応答の簡潔さを評価するための,参照不要な新しい指標を提案する。
本手法は,金本位基準に頼らずに,非重要内容の定量化を行う。
論文 参考訳(メタデータ) (2025-11-20T23:03:23Z) - Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling [59.133428586090226]
大規模言語モデル(LLM)は、しばしば自然言語を用いて確率分布を正確に記述することができる。
このミスマッチはモンテカルロ法、エージェントベースのシミュレーション、ランダム化された意思決定などの信頼性を必要とするタスクでの使用を制限する。
本稿では,古典的リジェクションサンプリングの自然言語適応であるVerbalized Rejection Smpling (VRS)を紹介する。
論文 参考訳(メタデータ) (2025-06-11T17:59:58Z) - Estimating LLM Consistency: A User Baseline vs Surrogate Metrics [13.001452293293596]
大型言語モデル(LLM)は幻覚や敏感な摂動を引き起こす傾向がある。
本稿では,LLMの一貫性を推定するためのロジットに基づくアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2025-05-26T16:53:47Z) - Uncertainty Quantification for LLM-Based Survey Simulations [9.303339416902995]
本研究では,大規模言語モデル(LLM)を用いて質問に対する人間の反応をシミュレートする。
提案手法は,不完全なLLMシミュレーション応答を集団パラメータの信頼セットに変換する。
重要な革新は、シミュレーションされたレスポンスの最適な数を決定することである。
論文 参考訳(メタデータ) (2025-02-25T02:07:29Z) - Keep Guessing? When Considering Inference Scaling, Mind the Baselines [45.21178011740911]
大規模言語モデルにおける推論計算のスケーリングは、サンプルの数が増えるにつれて、常にカバレッジ(問題解決の限界)を増大させる。
我々は、この観察された改善は、標準評価ベンチマークの回答分布が比較的小さな共通回答の集合に傾いていることによるものであると推測する。
論文 参考訳(メタデータ) (2024-10-20T18:43:05Z) - Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
本稿では,各復号ステップにおける多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法のキャパシティを推定する体系的手法を提案する。
本研究は,既存のトラクションサンプリング手法を総合的に比較し,パラメータ選択のための実用的なユーザガイドとして機能する。
論文 参考訳(メタデータ) (2024-08-24T14:14:32Z) - From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
適応後の応答多様性の低下を以前報告した再検査を行った。
分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。
発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
論文 参考訳(メタデータ) (2024-06-25T16:32:33Z) - Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。
本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文 参考訳(メタデータ) (2024-03-07T03:24:34Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Self-consistent Reasoning For Solving Math Word Problems [27.584325149744444]
数学語問題(英: Math word problem、MWP)は、テキスト中の数学問題から解表現を自動的に導き出すタスクである。
これまでの研究では、入力テキストと出力表現の間に急激な相関関係があった。
本稿では,出力分布シフトの補正にプルーニング戦略を採用するSCRという自己整合推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-27T12:34:31Z) - Rethinking Collaborative Metric Learning: Toward an Efficient
Alternative without Negative Sampling [156.7248383178991]
コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。
負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。
そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T08:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。