論文の概要: Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum
- arxiv url: http://arxiv.org/abs/2609.25028v1
- Date: Tue, 18 Aug 2026 04:26:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.836394
- Title: Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum
- Title(参考訳): QMSum を用いた効率的なクエリフォーカス会議要約のための検索スパントレーニング
- Abstract要約: QMSumではスコアが提供されず、クエリ中心のミーティングの要約結果を比較するのが難しくなる。
リリースされた406M Fusion-in-Decoderのスペシャリストは、カプセル化された長い入力から2000ワードの検索スパンに移動すると6.30ROUGE-1を失う。
テストでは、1.2Bシステムで36.33 ROUGE-1と35.41とスコアされた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: QMSum provides no scorer, making query-focused meeting summarization results difficult to compare. We rescore or generate 15 systems under one implementation. Through a common inference port, a released 406M Fusion-in-Decoder specialist loses 6.30 ROUGE-1 when moved from capped long input to 2,000-word retrieved spans. Fine-tuning it on this span regime recovers the loss. On test it scores 36.33 ROUGE-1 versus 35.41 for our 1.2B system; the meeting-cluster 95% interval for the difference is [-0.27, +2.22], so QMSum does not statistically separate them. The smaller system uses about one-third as many total parameters and less than half the peak inference memory. Within the fixed 1.2B base, span-regime fine-tuning adds 5.29 [+4.02, +6.56], while replacing the first 4,500 transcript words with 2,000 retrieved words adds 1.55 on test and 0.29 on validation. Separately, under one concise prompt and reference-overlap scorer, a released 406M specialist exceeds five proprietary hosted models by at least 6.2 ROUGE-1, but output length and absent human or factuality evaluation limit this ordering. Conclusions are limited to QMSum and automatic metrics.
- Abstract(参考訳): QMSumではスコアが提供されず、クエリ中心のミーティングの要約結果を比較するのが難しくなる。
1つの実装で15のシステムを再スコアするか、生成します。
共通の推測ポートを通じて、リリースされた406M Fusion-in-Decoderのスペシャリストは、キャップ付きロング入力から2000ワードの検索スパンに移行すると6.30ROUGE-1を失う。
このスパンで微調整すると損失が回復する。
テストでは、1.2B系では36.33ROUGE-1対35.41であり、差の95%間隔は [-0.27, +2.22] であるため、QMSumは統計的に分離しない。
より小さなシステムは総パラメータの約3分の1を使用し、ピーク推論メモリの半分以下である。
1.2Bベースでは、スパンレジムの微調整で5.29[+4.02, +6.56]が加えられ、最初の4,500の転写語を2000の検索語に置き換え、テストで1.55、検証で0.29が加えられた。
同時に、1つの簡潔なプロンプトと基準オーバーラップスコアラーの下で、リリースされた406Mスペシャリストは、少なくとも6.2 ROUGE-1で5つのプロプライエタリなホストモデルを超えたが、出力長と人または事実性の評価に欠ける。
結論はQMSumと自動メトリクスに限られます。
関連論文リスト
- The Complexity Kink: A Prompt-Side Structural Complexity Index for Code-Generation Reliability [0.3186130813218338]
6次元のプロンプト側構造複雑度指数は、生成前にスコアし、正確性から分離する。
予備的なシングルラタールーブリックの6つのバンドで5,000のPythonプロンプトを選択します。
人間の合意は穏健であり、不一致に富んだ校正セットに依存している。
論文 参考訳(メタデータ) (2026-09-17T03:07:39Z) - Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。
モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。
パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
論文 参考訳(メタデータ) (2026-09-15T16:29:12Z) - Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM [0.47745223151611654]
LLM判事によるベンチマークは、通常1点の10分の1の違いを判断するが、これらのベンチマークの解像度は測定されていない。
測定対象としてシステムを扱い,373,019の判断をシステム,項目,判断,相互作用成分に分解する。
論文 参考訳(メタデータ) (2026-08-17T09:08:49Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Knowledge Index of Noah's Ark [63.143852586221534]
KINAは,261分野にわたる899項目のベンチマークである。
ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。
トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
論文 参考訳(メタデータ) (2026-06-03T17:06:49Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。
我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。
GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。
MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
論文 参考訳(メタデータ) (2026-05-18T23:43:12Z) - Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
6つの認知機構からなる生体記憶アーキテクチャを提案する。
各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。
S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
論文 参考訳(メタデータ) (2026-05-08T22:52:37Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。