論文の概要: Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?

• arxiv url: http://arxiv.org/abs/2610.28714v1
• Date: Tue, 20 Oct 2026 17:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.209989
• Title: Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?
• Title（参考訳）: Big Claims, Small Margins: GraphLLMはシンプルなベースラインに耐えられるか?
• Abstract要約: テキスト分散グラフ上のノード分類手法は、常に最先端の精度を報告している。 これらの結果は、同じ分割で実行される安価なベースラインと比較してどうか尋ねる。 同じ分割に関する同じ方法の報告も、一致する構成を文書化していない文書間で最大12.5ポイントまで異なる。
• 参考スコア（独自算出の注目度）: 0.48302896549293584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based methods for node classification on text-attributed graphs (TAGs) routinely report state-of-the-art accuracy. We ask how these results compare with inexpensive baselines run on the same splits. On the splits of three recent studies, we tune four baseline representatives with validation-only selection and compare them with the highest mean that each paper reports for an LLM-based method in the matched setting. Correct & Smooth on TF-IDF features trails this reference by a median of 2.3 percentage points, and an MLP on frozen e5-large-v2 embeddings by 2.8 points. Correct & Smooth is within 3 points of the reference or better on 15 of 24 tasks, but the reference is significantly higher on 12 of 22 testable tasks, so several reported gains remain substantial. Reading released code next to the papers, we also document evaluation risks: selection of hyperparameters or checkpoints on the test set, labels of test-pool nodes used in training, baseline numbers reused without disclosure, and a text-label misalignment in a released Cora loader. Reports of the same method on the same split also differ by up to 12.5 points across papers whose configurations are not documented to match.
• Abstract（参考訳）: LLMに基づくテキスト分散グラフ(TAG)のノード分類手法は、常に最先端の精度を報告している。 これらの結果は、同じ分割で実行される安価なベースラインと比較してどうか尋ねる。 最近の3つの研究の分割について、検証のみの選択で4つのベースライン代表を調整し、各論文が一致した設定でLSMに基づく手法を報告する最も高い平均値と比較した。 TF-IDFの補正と平滑化は、この基準を中央値2.3%、凍結したe5-large-v2の埋め込みにおけるMLPを2.8ポイント追従する。 正しい&滑らかさは、24のタスクのうち15の基準の3ポイント以内か、より優れているが、22のテスト可能なタスクのうち12の基準は著しく高いので、いくつかの報告された利得は依然として相当である。 論文の隣でリリースされたコードを読み取ると、テストセット上のハイパーパラメータやチェックポイントの選択、トレーニングで使用されるテストプールノードのラベル、開示なしで再利用されるベースライン番号、リリースされたColaローダのテキストラベルミスアライメントなど、評価リスクも記録します。 同じ分割に関する同じ方法の報告も、一致する構成を文書化していない文書間で最大12.5ポイントまで異なる。

関連論文リスト

• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Metrics or Mirage? An Audit of Evaluation Inconsistencies in Colonoscopy Polyp Segmentation Benchmarks [0.9121437356699356]
  2015年から2026年にかけて発行された27の論文の体系的な監査では、コミュニティがモデルを評価する方法に関する3つの構造的な問題を明らかにしている。 テキスト互換性のない少なくとも5つのトレイン/テストスプリットプロトコルが、同じデータセットで結果を報告する論文間で共存している。 27件の論文のうち26件は、統計的に有意なテストなしに、テキストパフォーマンスのクレームを作成している。
  論文  参考訳（メタデータ） (2026-07-09T08:01:55Z)
• What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
  筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。 私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。 我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
  論文  参考訳（メタデータ） (2026-05-20T17:02:36Z)
• Leveraging Reference Documents for Zero-Shot Ranking via Large Language Models [16.721450557704767]
  RefRankは、固定参照文書に基づく単純で効果的な比較ランク付け手法である。 RefRankはポイントワイドのベースラインをはるかに上回り、少なくともペアワイドのアプローチと同等のパフォーマンスを達成できることを示した。
  論文  参考訳（メタデータ） (2025-06-13T04:03:09Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• Evaluating the Factual Consistency of Large Language Models Through News Summarization [97.04685401448499]
  本稿では,要約タスクに着目したFIB(Factual Inconsistency Benchmark)と呼ばれる新しいベンチマークを提案する。 現実的に一貫した要約では、手作業で事実的に一貫したものとして検証する、人書きの参照要約を使用します。 現実的に矛盾しない要約に対して、我々は、事実的に矛盾しているとして手動で注釈付けした一連の要約モデルから要約を生成する。
  論文  参考訳（メタデータ） (2022-11-15T18:50:34Z)
• PointMatch: A Consistency Training Framework for Weakly Supervised Semantic Segmentation of 3D Point Clouds [117.77841399002666]
  本稿では,データ自体から十分な情報を探索するために整合性正規化を適用することで,データとラベルの両面に立つ新しいフレームワークであるPointMatchを提案する。 提案したPointMatchは、ScanNet-v2データセットとS3DISデータセットの両方で、様々な弱い教師付きスキームの下で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-02-22T07:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。