論文の概要: What Language Adds, and at What Cost: Four Controlled Probes of Pathology Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.26805v1
• Date: Mon, 19 Oct 2026 17:48:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-21 06:55:47.801596
• Title: What Language Adds, and at What Cost: Four Controlled Probes of Pathology Vision-Language Models
• Title（参考訳）: 言語がもたらすもの、そしてコスト:4つの制御された病理ビジョン-言語モデル
• Abstract要約: 我々は、それがどのように生成され、制御されたプローブで4つのクレームをテストされたかによって、証拠を分類した。 今後の評価において、これらの障害モードを公開する最小限の制御を提案する。
• 参考スコア（独自算出の注目度）: 31.154896262779037
• License:
• Abstract: Vision--language models (VLMs) promise to make computational pathology queryable and able to draft reports, but how much language adds beyond the vision backbone is unclear, because almost every system is evaluated by its developers on test sets of their own choosing. We grade published evidence by how it was produced and test four claims with controlled probes that reuse released checkpoints and public data, varying one input at a time. Report text adds prognostic signal: adding a frozen embedding of the stage-redacted report to a slide embedding raises the pooled C-index by 0.019 for progression-free interval and by 0.016 for overall survival across 1{,}633 TCGA patients, and restoring the stage statement adds nothing. Prompts add no measurable accuracy at inference: with features and pooling fixed, zero-shot classification is statistically indistinguishable from a supervised linear probe for lung and renal cancer subtyping. Slide-level question answering is barely grounded: SlideChat answers 74.82\% of SlideBench-VQA(TCGA) items correctly with the slide and 74.41\% without it, whereas its language backbone alone reaches 43.52\%. Paraphrasing leaves accuracy unchanged but flips 8--23\% of answers. Self-reported gains from agentic navigation and few-shot language priors cannot yet be attributed to language. Language thus adds real but narrow value, and we propose minimum controls that would expose these failure modes in future evaluations.
• Abstract（参考訳）: ヴィジュアル言語モデル(VLM)は、計算病理学をクエリ可能とし、レポートのドラフトを作成することを約束するが、ヴィジュアルバックボーンを超える言語がどのくらい追加されるかは、ほとんど全てのシステムが、開発者自身の選択したテストセットで評価されているため不明である。 我々は、それがどのように生成され、どのようにして4つのクレームを制御されたプローブでテストし、リリースされたチェックポイントと公開データを再利用し、一度に1つのインプットを一度に変更したかで証拠を評価した。 スライド埋め込みにステージ修正されたレポートの凍結埋め込みを追加すると、プールドCインデックスが0.019まで上昇し、進行のない間隔で0.016まで上昇し、1{,}633 TCGA患者全体で生存し、ステージステートメントを回復する。 プロンプトは推測において測定可能な精度を付加しない: 特徴とプールの固定により、ゼロショット分類は、肺と腎がんの亜型に対する監督された線形プローブと統計的に区別できない。 SlideChatがSlideBench-VQA(TCGA)項目の74.82\%をスライドで正しく答え、74.41\%をスライドなしで答え、言語バックボーンだけで43.52\%に達する。 言い換えると正確さは変わらないが、答えの8--23\%をひっくり返す。 エージェントナビゲーションと少数ショット言語による自己報告による利益は、まだ言語によるものではない。 そこで我々は,これらの障害モードを将来の評価で公開する最小限の制御を提案する。

関連論文リスト

• Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models [2.756799182619788]
  視覚言語アクションモデル(VLA)は命令のフレーズに非常に敏感である。 我々は,この感度を統計的に検証されたシングルエジット・スウィングとオラクル・フレーズ・サーチで特徴付ける。 言い換えだけでは、分配タスクと分配タスクの21ポイントの差をほぼ埋めることを示す。
  論文  参考訳（メタデータ） (2026-10-07T17:57:38Z)
• Quad-State Safety Evaluation of Open-Weight Large Language Models on Non-Canonical Inputs [0.0]
  この研究は、7つの異なる表面形ファミリにわたる2,100のプロンプトからなる、Adrial Surface-Form Robustnessデータセット(ASRD)を導入している。 5つのオープンウェイト言語モデルがこれらのプロンプトで評価され、10,500のレスポンスが生成される。 準状態評価(Quad-State Evaluation)は、各応答を有害なコンプライアンス、安全な応答、理解障害、不確定の4つの結果の1つに分類する。
  論文  参考訳（メタデータ） (2026-10-06T19:33:24Z)
• Language-Conditioned Token and Reasoning Efficiency in Large Language Models: A Paired Cross-Lingual Study Protocol [4.805352087824778]
  我々は、入力言語を分離し、可観測トレース言語を割り当て、回答実現のための先進的なペア研究を指定する。 このプロトコルは、可視的トレースを内部認識やオペレーティングシステム推定として扱うことなく、トークン化器の拡張、観測可能なトレースコスト、応答実現コストを分離する。
  論文  参考訳（メタデータ） (2026-10-03T05:01:44Z)
• Output Language Confusion under Multilingual Prompt Contamination [1.0139836117407375]
  軽量かつ完全に複製可能な評価プロトコルであるMDI(Multilingual Distractor Interference)を導入する。 TortfulQA と TriviaQA にまたがる5つの命令調整 LLM を8つの障害条件下で評価した。 Llama-3.1-8Bはヒンディー語に注意を払い、反応の58%はデバナガリ文字に切り替え、生の幻覚のプロキシは0.710である。
  論文  参考訳（メタデータ） (2026-10-02T07:16:48Z)
• Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI [0.0]
  我々は15のアフリカ諸言語にまたがる自然言語の推論について検討した。 AfriXNLIはXNLIに由来するため、英語、フランス語、スワヒリの構成はXNLIで訓練されたモデルのクリーンな評価には役立たない。 我々の中心的な方法論的発見は、表現統計学は、ある計算的利益の概念に対して統計的に有意であり、他方とは無関係であるということである。
  論文  参考訳（メタデータ） (2026-08-19T15:03:51Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
  我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。 は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
  論文  参考訳（メタデータ） (2021-04-18T05:32:28Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• MOCHA: A Dataset for Training and Evaluating Generative Reading Comprehension Metrics [55.85042753772513]
  そこで本研究では,生成的読解の指標であるModeling Correctness with Humanをトレーニングし,評価するためのベンチマークを提案する。 S 我々は,MOCHAを用いて,人間の判断スコアを模倣する学習評価尺度LERCを訓練する。 最小のペアで評価すると、LERCは80%の精度でベースラインを14から26の絶対パーセンテージポイントで上回り、改善の余地は大きい。
  論文  参考訳（メタデータ） (2020-10-07T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。