論文の概要: Where in the Input Does a One-Pass Decision Encoder Look?
- arxiv url: http://arxiv.org/abs/2611.16477v1
- Date: Thu, 12 Nov 2026 08:42:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.400457
- Title: Where in the Input Does a One-Pass Decision Encoder Look?
- Title(参考訳): 入力でワンパス決定エンコーダはどこにあるのか?
- Abstract要約: Layaは、1回のパスでテキストに関する複数の選択の質問に答える小さなモデルです。
証拠が窓の外にある場合、リリースされたチェックポイントの精度は26.4%になる。
信頼は警告を与えない(AUROC 0.50 - 0.55 読み取り要求のカットを知らせる;0.5 = チャンス)
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Laya is a small model that answers a multiple-choice question about a text in one pass: the question, the options (each with a name and a description) and the text form one sequence of at most 512 tokens, the window, in the English release. A longer text is silently cut at the end, and we measure what that costs. Test documents place a held-out row's text, the evidence, at a chosen token offset among distractor text; 177 items, five tasks, three checkpoints (released, short-row fine-tune, long-document fine-tune), four window sizes and 93,275 scored requests. When the evidence lies beyond the window, accuracy falls to 26.4% for the released checkpoint (27.2% for both fine-tunes), near the 27.0% of guessing and below the 35.6% of always giving the commonest label. Confidence gives no warning (AUROC 0.50 to 0.55 for telling cut from read requests; 0.5 = chance), and the runtime's truncation flag also fires on requests whose evidence was visible. The released checkpoint reads visible evidence badly once text precedes it: 38.5% pooled against 60% when the evidence comes first, so a larger window alone gains +6.2 points. Fine-tuning on long documents adds +27.6 points on visible evidence over the short-row fine-tune (95% interval +22.3 to +33.1) and nothing on cut evidence. That is an in-family result: training rows and test documents share generator and question types, and the main filler is of the training kind. With encyclopedic filler never seen in training the gain is +13.2 (+9.9 to +16.6), with rows of other tasks as filler -2.0. Among training-free rearrangements a 312-token window scan helps most (+11.9 points over the default for the released checkpoint) at six to eleven forward passes. Documents are synthetic, labels are LLM-made and one backbone is studied, so these diagnose this model, not long documents in general.
- Abstract(参考訳): ラヤは、質問、オプション(それぞれ名前と記述を含む)、そしてテキストは、少なくとも512個のトークンの1つのシーケンス、すなわち、英語リリースにおいて、1つのパスにおけるテキストに関する多重選択問題に答える小さなモデルである。
長いテキストが最後に静かにカットされ、そのコストを計測します。
テスト文書は、散逸したテキストの中から選択されたトークンオフセットに、保持された行のテキスト、エビデンス、177項目、5タスク、3つのチェックポイント(リリース、ショートローファインチューン、ロングドキュメントファインチューン)、4つのウィンドウサイズ、93,275のリクエストを配置している。
証拠が窓の外にある場合、精度はリリースされたチェックポイントの26.4%(両方の細管の27.2%)、推測の27.0%近く、常に最も一般的なラベルを与える35.6%以下となる。
信頼は警告を与えない(AUROC 0.50 から 0.55 は読み取り要求からのカットを通知する; 0.5 = チャンス)。
38.5%は証拠が最初に現れると60%に対してプールされているので、より大きな窓だけでは+6.2ポイントになる。
長い文書の微調整では、短い穴の細管(95%間隔+22.3から+33.1)についての可視的証拠に+27.6の点が加えられる。
トレーニング行とテストドキュメントはジェネレータと質問タイプを共有します。
百科事典のフィラーがトレーニングで見られない場合、ゲインは+13.2(+9.9から+16.6)であり、他のタスクの行がフィラーとして-2.0である。
トレーニング不要のウィンドウスキャンでは、ほとんどの(リリースされたチェックポイントのデフォルトの+11.9ポイント)が6から11のフォワードパスで有効である。
文書は合成され、ラベルはLPMで、1つのバックボーンが研究されているため、これらはこのモデルを診断するが、一般には長い文書ではない。
関連論文リスト
- Signed but Steerable: Measuring and Closing the Text-Vector Integrity Gap in Offline Retrieval-Augmented Generation [45.88028371034407]
ベクトルを再計算してコサイントレランス内で受け入れる検証器は、予測可能なクエリの共有を攻撃者に譲る。
ローカル言語モデルを実行するRaspberry Pi 5では、このような攻撃は正しい回答を0.75から0.39に下げる。
一般的な浮動小数点および動的INT8推論パイプラインは、バッチサイズやアーキテクチャでビット再生可能であることを示す。
論文 参考訳(メタデータ) (2026-11-04T13:32:04Z) - TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races [53.403108666656955]
TextSeal2は、大きな言語モデルのための歪みのない透かしである。
出力の多様性を保ち、測定可能な推論遅延を追加しない。
TextSealとTextGrainは、同じ受け入れ率で、それぞれ18ポイントと22ポイントの200トークンの回答を検知する。
論文 参考訳(メタデータ) (2026-10-29T17:54:12Z) - Faithful Where You Look: Anchor-Based Evaluation Hides Text Fabrication in Image-Conditioned Video Generation [17.47496829255358]
ビデオモデルは実際の場所を示すために使用されるため、その出力が表示された場所に忠実であるかどうかが現実的な問題である。
東京都の店舗48店舗について, 店舗3社から4種類のモデルを作成し, テキストの忠実度を測定した。
4つのモデルはいずれもノーモデル制御(0.996に対して0.90-0.94)に近く、互いに確実に分離されない。
論文 参考訳(メタデータ) (2026-10-18T14:06:44Z) - MemoProAgent: Toward Memory-Driven Proactive Assistance [62.65924263961032]
MemoProBenchは、メモリ駆動型プロアクティブアシストのベンチマークである。
それは、エゴセントリックなビデオと、年長で気を散らすようなユーザー記憶を合わせたものだ。
トレーニングなしでは、MemoProAgentはQwen3.8-27Bで10%未満から37.5%、GPT-5.3-Chatで38%まで厳格な精度を上げた。
論文 参考訳(メタデータ) (2026-10-15T21:40:17Z) - VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents [8.80548156733219]
脆弱性検出ベンチマークは、収集した証拠ではなく、エージェントが到達した判断をスコアする。
VulContextBenchは、83のリポジトリ、63のCWE、および5つの言語にわたる111の脆弱性導入コミット(VIC)のベンチマークである。
論文 参考訳(メタデータ) (2026-09-26T13:19:18Z) - What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark [0.0]
私たちは60のタスクと470のアイテムのベンチマークを作成しました。
私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。
コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
論文 参考訳(メタデータ) (2026-09-05T15:43:05Z) - MedQA-MM: Shortcuts Behind Medical Visual Reasoning [45.333881843709804]
ベンチマークスコアは最終回答を信用するが、アイテムが答えられるルートではない。
医用マルチモーダル多重選択質問(MCQ)では、適切な回答が意図された画像発見によって支持されるため、この区別が重要である。
ここでは、ルートは、モデルの隠れた認識に関するクレームではなく、回答の選択をサポートすることができる観測可能な入力パスである。
論文 参考訳(メタデータ) (2026-09-03T01:40:19Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳(メタデータ) (2026-06-17T07:44:04Z) - Data Provenance Auditing of Fine-Tuned Large Language Models with a Text-Preserving Technique [36.96848724920411]
我々は、見えないUnicode文字を文書に埋め込むテキスト保存型透かしフレームワークを導入する。
我々は50の文書を微調整した後の応答を検出する際に0.1%未満の失敗率を実験的に観察した。
100%TPR@0% FPRに対応する18,000以上の課題において、突発的な回答は得られなかった。
論文 参考訳(メタデータ) (2025-10-07T08:34:08Z) - TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document [60.01330653769726]
テキスト中心タスクに適した大規模マルチモーダルモデル(LMM)であるTextMonkeyを提案する。
ゼロ初期化によるシフトウィンドウアテンションの導入により、高い入力解像度でクロスウィンドウ接続を実現する。
テキストスポッティングとグラウンド化を包含する能力を拡張し、位置情報を応答に組み込むことで、解釈可能性を高める。
論文 参考訳(メタデータ) (2024-03-07T13:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。