論文の概要: SeDT: Sentence-Transformer Decision-Transformer Conditioning for Multi-Turn Conversation Reliability

• arxiv url: http://arxiv.org/abs/2605.26788v1
• Date: Tue, 26 May 2026 10:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.865398
• Title: SeDT: Sentence-Transformer Decision-Transformer Conditioning for Multi-Turn Conversation Reliability
• Title（参考訳）: SeDT:マルチターン会話信頼性のための文変換器決定-変換器条件
• Authors: Ramakrishna Vamsi Setti, Jagadeesh Rachapudi, Sachin Chaudhary, Praful Hambarde, Amit Shukla,
• Abstract要約: 根本原因は構造的であり、フラットな会話履歴は前回と同一の暗黙の重みを割り当てるため、重要な制約を偶発的ダイアログと区別する信号は与えない。 本稿では、オフラインの強化学習から戻り条件をインポートすることで、この問題を解決する訓練不要な推論時間法であるSeDT文変換器について述べる。
• 参考スコア（独自算出の注目度）: 2.7681522149440565
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) achieve impressive performance when a task is fully specified in a single turn, yet the same models lose up to 39% of that performance when the identical task is revealed incrementally across multiple turns, a phenomenon documented at scale as Lost in Conversation. Crucially, this collapse is almost entirely a reliability failure; the best case, the aptitude only falls 16%, while the unreliability more than doubles (+112%). We argue that the root cause is structural, a flat conversation history assigns equal implicit weight to every prior turn, giving the model no signal to distinguish a critical constraint from incidental dialog. We present SeDT Sentence-transformer Decision-Transformer, a training-free inference-time method that resolves this by importing return-to-go conditioning from offline reinforcement learning. SeDT annotates each conversation shard with a cumulative relevance score derived from three complementary semantic, lexical, and positional signals and presents the full annotated history to the model at the final turn, without weight changes, without training data, and without discarding context. Evaluated on the Lost-in-Conversation benchmark in three LLMs and three generation tasks, SeDT outperforms the sharded baseline in all nine model-task combinations, with gains up to +37.7% in mean performance P and simultaneous reductions in unreliability in seven of the nine combinations. In short, telling the model which past turns matter is sufficient to substantially recover the performance lost in conversation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、タスクがひとつのターンで完全に指定されたときに、印象的なパフォーマンスを達成するが、同じタスクが複数のターンで漸進的に明らかにされると、同じモデルがそのパフォーマンスの最大39%を失う。 もっとも良い例は、適性は16%しか低下せず、信頼性が2倍以上(+112%)であることだ。 我々は、主原因は構造的であり、フラットな会話履歴は前回と同一の暗黙の重みを割り当てるので、重要な制約を偶発的ダイアログと区別する信号は与えないと主張している。 本稿では、オフラインの強化学習から戻り条件をインポートすることで、この問題を解決する訓練不要な推論時間法であるSeDT文変換器について述べる。 SeDTは3つの相補的意味、語彙的、位置的信号から導かれる累積的関連スコアで各会話シャードに注釈を付け、重み変更なしで、トレーニングデータなしで、コンテキストを破棄することなく、最終ターンでモデルに完全な注釈付き履歴を提示する。 3つのLCMと3つの世代タスクにおけるLost-in-Conversationベンチマークに基づいて評価され、SeDTは9つのモデルとタスクの組み合わせでシャードベースラインを上回り、平均性能Pは+37.7%まで上昇し、9つの組み合わせのうち7つで信頼性の低下が同時に減少する。 言い換えれば、過去の変化をモデルに伝えることは、会話で失われたパフォーマンスを著しく回復するのに十分である。

関連論文リスト

• Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
  本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。 10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。 LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
  論文  参考訳（メタデータ） (2026-05-23T16:57:25Z)
• Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
  複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。 我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。 本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
  論文  参考訳（メタデータ） (2026-04-13T13:40:33Z)
• Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
  小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。 特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
  論文  参考訳（メタデータ） (2026-04-10T18:13:09Z)
• Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization [51.56024241398741]
  微調整された音声表現モデルは、特定のタスクのパフォーマンスを向上させることができるが、しばしばタスク間の一般化能力を損なう。 微調整中の重量変化の規則化のような既存のアプローチは、事前訓練されたモデルと十分に高い特徴的類似性を維持できない可能性がある。 本研究では,2段階のファインチューニングフレームワークであるSpeech-FTを提案する。
  論文  参考訳（メタデータ） (2025-02-18T09:23:42Z)
• M3ST: Mix at Three Levels for Speech Translation [66.71994367650461]
  本稿では,M3ST法を3段階に分けて提案し,拡張学習コーパスの多様性を高める。 ファインチューニングの第1段階では、単語レベル、文レベル、フレームレベルを含む3段階のトレーニングコーパスを混合し、モデル全体を混合データで微調整する。 MuST-C音声翻訳ベンチマークと分析実験により、M3STは現在の強いベースラインより優れ、平均的なBLEU29.9の8方向の最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-07T14:22:00Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Learning Iterative Robust Transformation Synchronization [71.73273007900717]
  グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。 本研究では、ロバストな損失関数のハンドクラフトを回避するとともに、グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。
  論文  参考訳（メタデータ） (2021-11-01T07:03:14Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。