論文の概要: CARAT: Do Materials LLMs Reason or Recite?

• arxiv url: http://arxiv.org/abs/2609.38340v1
• Date: Tue, 29 Sep 2026 18:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.559627
• Title: CARAT: Do Materials LLMs Reason or Recite?
• Title（参考訳）: CARAT: 材料LLMは理にかなっているか?
• Abstract要約: CARATは8つの一致したビューで固定された質問と金の回答を保持します。 マッチした微調整、回答マスキング、エビデンス注入、ペア推論、クレームを無視できるルールが追加されている。
• 参考スコア（独自算出の注目度）: 16.096746425362713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a materials LLM answers a question about crystal structure, does it reason from the structure or copy an answer already printed in its input? Accuracy cannot tell: a structural description often prints the very field it is scored against. CARAT holds question and gold answer fixed across eight matched views, names each structural relation separately in GraphSpace, and adds matched fine-tuning, answer masking, evidence injection, paired inference, and a rule that can withhold claims. First, on the benchmark's hardest families the grounded view is worth 17.3 points over formula inputs. Second, we turn that scrutiny on ourselves. GraphSpace beats a plain periodic graph by 19.3 points, but that margin is two effects at once: where the plain rendering carries everything the question needs it is 1.96 points, and where it omits those fields entirely, 46.7 points. The headline mostly measures what the baseline lacked, not how evidence is presented. Third, we attack our own benchmark. A rule that skips the link and reads the list directly answers four of seven hardened families, so we rebuilt it until eleven such shortcuts sat near chance. The frozen model quotes that link yet answers the same when we redirect it, on 95.6% of paired cases: it repeats the relation without using it. After matched supervision it reaches 99.8%, and deleting the link drops it to 23.4%, below the 27.0% the best shortcut reaches: both steps are learnable.
• Abstract（参考訳）: LLMが結晶構造に関する質問に答えるとき、それは構造から推論するか、既に入力に印刷されている答えをコピーするのか? 構造的な記述は、しばしば、それに対して得られるフィールドを印刷する。 CARATは、マッチした8つのビューで固定された質問と金の回答、GraphSpaceで個別にそれぞれの構造関係の名前、マッチした微調整、回答マスキング、エビデンスインジェクション、ペア推論、クレームを無視できるルールを追加します。 まず、ベンチマークの最も厳しい家庭では、接地されたビューは公式入力よりも17.3ポイントの価値がある。 第二に、私たちはその精査を自分自身に向けます。 GraphSpaceは通常の周期グラフを19.3ポイント上回るが、そのマージンは一度に2つの効果である。 見出しは主にベースラインの欠如を測るもので、証拠の提示方法ではない。 第3に、私たちは独自のベンチマークを攻撃します。 リンクをスキップしてリストを読み取るルールは、7つの強化されたファミリーのうち4つに直接答える。 凍結モデルでは、リンクがリダイレクト時に同じ答えを返さないと、ペアのケースの95.6%で引用している。 マッチした監督の後、99.8%に達し、リンクを削除すると23.4%に低下し、最高のショートカットの27.0%以下となる。

関連論文リスト

• Composition, Not Conversation: VLMs Lose the Scene, Not the Thread [52.53349894973919]
  視覚言語モデル(VLM)は、収穫、分割、回収、あるいは時間とともに明らかにされる視覚的証拠に対して、ますます理にかなっている。 93のシーンと300の質問があるLayered-VQAを紹介します。 各画像は順序付けされたRGBA層に分解され、元のシーンを正確に再構成する。
  論文  参考訳（メタデータ） (2026-09-29T18:29:43Z)
• Beyond Linear Context: Graph-Guided Evidence Navigation for Long-Novel Reasoning with a Local 9B Language Model [0.0]
  凍結した知識グラフが同じ自由度を持つ小さな局所モデルを提供できるかどうかをテストする。 30の推理小説と234の質問は、固定されたqwen3.5:9bリーダーによって答えられる。
  論文  参考訳（メタデータ） (2026-09-19T10:29:56Z)
• PageRecall: Measuring Page Selection in Literature-Grounded Question Answering [0.0]
  調査質問が与えられた後、LitTraceQAは27,487のプールから関連書類を検索し、そのページと答えがどこにあるかの表や図を引用し、要求された形式で回答する。 主な発見は、根拠となる証拠は検索によって制限されており、読み取りによってではないということです。 45のケースでは14回、間違った24回、正しい7回しか返さないため、パイプラインが視覚的に失敗するほぼ2倍の頻度で失敗しました。
  論文  参考訳（メタデータ） (2026-09-16T05:33:20Z)
• The Answer Path and the Grounding Instruction in LLM Question Answering over Knowledge Graphs [0.8741110159894001]
  グラフ検索拡張生成パイプラインは、どのトリプルをプロンプトに入力するかを選択する。 4つの選択肢のうち2つは答えを動かし、他の2つはフラットです。 プロンプトに事実がないため、与えられた事実のみを使用してモデルに答えるように指示すると、F1は0.299から0.035に低下する。
  論文  参考訳（メタデータ） (2026-09-09T14:31:11Z)
• Retrieved but not ranked: surface-form bias in structural retrieval, from mathematics to agent trajectories [1.3092549225920291]
  表面形状と意味を意図的に分離した埋め込み検索の評価を行った。 数学では、失敗は完全である: 最も重い偽りの階層における厳密なhit@1は、両方のプロダクション埋め込みに対して0.0%である。 表面の変化が付随する軌道では、同じモデルが超幾何学的確率で着陸する。
  論文  参考訳（メタデータ） (2026-09-01T17:19:57Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Grounded Continuation: A Linear-Time Runtime Verifier for LLM Conversations [15.537674351419234]
  デプロイされたエージェントに対するコンテキスト操作攻撃は、このギャップを積極的に活用する。 明示的な依存性グラフを保持するランタイム検証器でそれをクローズします。 継続がサポートされるかどうかを確認することは、グラフウォークに還元され、リトラクションは同じグラフを通して、サポートを失う結論を正確に宣言する。
  論文  参考訳（メタデータ） (2026-05-13T22:54:16Z)
• MUPA: Towards Multi-Path Agentic Reasoning for Grounded Video Question Answering [64.46361702927457]
  Grounded Video Question Answering (Grounded VideoQA) では、テキストによる回答と明確な視覚的証拠の整合が必要である。 本研究では,ビデオグラウンド,質問応答,回答反射,集約を統一するMulti-Path AgenticアプローチであるMUPAを提案する。
  論文  参考訳（メタデータ） (2025-06-22T15:39:02Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。