Fugu-MT 論文翻訳(概要): Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

論文の概要: Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

arxiv url: http://arxiv.org/abs/2608.24920v1
Date: Thu, 13 Aug 2026 19:22:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 05:49:59.250082
Title: Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment
Title（参考訳）: LLM間の応答のセマンティック変動:会話に基づく評価設計における意味
Abstract要約: 本研究は, LLM が変化しても, LLM 生成応答が意味的整合性を維持するか否かを考察する。その結果、モデル選択と会話の文脈は、応答の類似性と人間の反応との整合性に影響を与えることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: This study examines whether LLM-generated replies remain semantically consistent when the underlying LLM changes. Using messages from real collaborative conversations, we compared the semantic similarity of generated replies across LLMs under two conditions: with and without preceding chat history. Results show that model choice and conversational context both affect response similarity and alignment with human replies. These findings indicate that prompting and conversational context alone may not be sufficient to preserve response consistency across LLMs, highlighting the need for infrastructure and design strategies that can maintain stable and comparable responses amid the rapid and continuous evolution of LLMs.
Abstract（参考訳）: 本研究は, LLM が変化しても, LLM 生成応答が意味的整合性を保つかどうかを考察する。実際の協調会話からのメッセージを用いて,LLM間で発生した応答のセマンティックな類似性を,チャット履歴の先行と未使用の2つの条件下で比較した。その結果、モデル選択と会話の文脈は、応答の類似性と人間の反応との整合性に影響を与えることがわかった。これらの結果は,LLMの迅速かつ連続的な進化の中で,安定かつ同等な応答を維持できるインフラと設計戦略の必要性を浮き彫りにして,LLM間の応答一貫性を維持するには,プロンプトと会話のコンテキストだけでは不十分であることを示している。

関連論文リスト

Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions [62.99524765341952]
ソーシャルメディアのユーザーをシミュレートするために、大規模な言語モデルがますます使われている。 LLMに基づくスタンスシミュレーションを監査するための枠組みとして,反実的文脈修正について検討する。その結果、テキストのみの戦略とマルチモーダル戦略の両方において、効果的かつ堅牢なスタンス遷移が明らかとなった。
論文参考訳（メタデータ） (2026-06-04T17:41:54Z)
Factors That Support Grounded Responses in LLM Conversations: A Rapid Review [0.0]
大規模言語モデル(LLM)は、ユーザの意図と不一致した出力を生成したり、文脈的根拠を欠いたり、会話中に幻覚を示すことがある。本研究の目的は,LLM応答を会話目標と整合させ,接地を確保し,幻覚や話題の漂流を減らす手法を同定し,解析することであった。
論文参考訳（メタデータ） (2025-11-24T21:18:46Z)
Evaluating Consistencies in LLM responses through a Semantic Clustering of Question Answering [1.9214041945441436]
本稿では,Large Language Model (LLM) のセマンティクスを評価するための新しいアプローチを提案する。本稿では,LLM再応答が意味論的に一致しているかどうかを考察し,構文的に異なる文が同じ意味を持つ可能性があることを認識した。 TruthfulQAデータセットを用いてLLM応答を評価することにより、37のカテゴリにわたる意味的一貫性を測定するために、質問毎にNの応答を誘導し、意味的に等価な文をクラスタ化する。
論文参考訳（メタデータ） (2024-10-20T16:21:25Z)
Beyond the Turn-Based Game: Enabling Real-Time Conversations with Duplex Models [66.24055500785657]
従来のターンベースのチャットシステムは、ユーザが応答を生成している間に、システムが言葉で対話することを防ぐ。これらの制限を克服するため,既存のLCMをユーザを聴きながら出力を生成し,ユーザに対して即時フィードバックを提供する。クエリとレスポンスの時間スライスを交互に行うデータセットを構築し、インスタントインタラクションにおける典型的なフィードバックタイプをカバーする。
論文参考訳（メタデータ） (2024-06-22T03:20:10Z)
Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
論文参考訳（メタデータ） (2024-02-27T05:37:10Z)
Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文参考訳（メタデータ） (2023-11-07T18:43:34Z)
An Investigation of LLMs' Inefficacy in Understanding Converse Relations [30.94718664430869]
本稿では,知識グラフ補完データセットから抽出した17の関係と1240のトリプルを含む,逆関係に着目した新しいベンチマークであるConvReを紹介する。我々のConvREは2つのタスク、Re2TextとText2Reを備えており、LLMが関連テキストと関連するテキストのマッチングを判定する能力を評価するために、多選択質問応答として定式化されている。
論文参考訳（メタデータ） (2023-10-08T13:45:05Z)
Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration [72.04629217161656]
本研究は, 明瞭化, 目標誘導, 非協調対話の3つの側面に焦点をあてる。 LLMの能動性を高めるために,プロアクティブ・チェーン・オブ・ソート・プロンプト方式を提案する。
論文参考訳（メタデータ） (2023-05-23T02:49:35Z)
Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。