論文の概要: Good Benchmarks

• arxiv url: http://arxiv.org/abs/2607.12217v1
• Date: Mon, 13 Jul 2026 23:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.993096
• Title: Good Benchmarks
• Title（参考訳）: 良いベンチマーク
• Abstract要約: よいタスクは正しい、解決可能、検証可能、明確に特定され、興味深い理由で難しい。 最高のタスクは、経験豊富な実践者が認識する真の問題、実践者が使用する言語、アプローチではなく結果を検証するテストを記述する。
• 参考スコア（独自算出の注目度）: 1.8420149175440346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Good tasks are correct, solvable, verifiable, well-specified, and hard for interesting reasons. The best tasks describe a real problem an experienced practitioner would recognize, in language a practitioner would use, with tests that verify the outcome rather than the approach.
• Abstract（参考訳）: よいタスクは正しい、解決可能、検証可能、明確に特定され、興味深い理由で難しい。 最高のタスクは、経験豊富な実践者が認識する真の問題、実践者が使用する言語、アプローチではなく結果を検証するテストを記述する。

関連論文リスト

• TARSE: Test-Time Adaptation via Retrieval of Skills and Experience for Reasoning Agents [30.35248346284844]
  2つの明確で検索可能なリソースを持つエージェント問題として,臨床質問応答の枠組みを定めている。 実行可能な決定ルールとして整理されたガイドラインスタイルのドキュメントから,スキルライブラリを構築する。 次に、検索した項目にモデルを適用することで、インスタンスステップのミスアライメントを低減する。
  論文  参考訳（メタデータ） (2026-03-01T19:31:23Z)
• BenchBrowser -- Collecting Evidence for Evaluating Benchmark Validity [29.31434780089624]
  高レベルのメタデータは、ベンチマークの粒度の現実を伝えるには大きすぎる。 BenchBrowser氏は、20のベンチマークスイートで自然言語のユースケースに関する評価項目を公開している。 実践者意図と実際にテストするベンチマークの間に重要なギャップを定量化するのに役立ちます。
  論文  参考訳（メタデータ） (2026-02-25T04:02:36Z)
• Quality attributes of test cases and test suites -- importance & challenges from practitioners' perspectives [3.5128287143338626]
  テストケースとテストスイートの品質特性の相対的重要性に関する実践者の認識について検討する。 重要な属性、すなわち不適切な定義、有用なメトリクスの欠如、確立されたレビュープロセスの欠如、外部サポートの欠如に適用する一般的な課題を特定します。
  論文  参考訳（メタデータ） (2025-07-08T19:09:27Z)
• Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization [49.95746521480879]
  PKUE(Precise Knowledge utilization Enhancement, 精密知識利用促進)を導入し, 正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。 大規模な実験により、PKUEはLLM全体の性能を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-02-26T13:34:52Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• On the Rationale and Use of Assertion Messages in Test Code: Insights from Software Practitioners [10.264620067797798]
  単体テストは、一連のテストケースを通じてその振る舞いを検証することによって、ソフトウェアシステムの品質を保証するための重要なプラクティスである。 これらのテストケースの中核となるのはアサーションステートメントであり、それによってソフトウェア実践者がシステムの振る舞いの正しさを検証することができる。 テストケース障害の理解とトラブルシューティングを支援するため、実践者はアサーションステートメントにメッセージ(すなわちアサーションメッセージ)を含めることができる。
  論文  参考訳（メタデータ） (2024-08-03T11:13:36Z)
• Improved Compositional Generalization by Generating Demonstrations for Meta-Learning [53.818234285773165]
  従来未解決であった構成動作分割に対して,他の分割に対する性能の損失を伴わずに,大幅な性能向上を示す。 この場合、オラクル関数でさえも関連する実演を探すことは、メタラーニングを使用する際には十分な性能を得るには不十分である。
  論文  参考訳（メタデータ） (2023-05-22T14:58:54Z)
• When Good and Reproducible Results are a Giant with Feet of Clay: The Importance of Software Quality in NLP [23.30735117217225]
  本稿では,最先端コンフォーマーアーキテクチャの実装で広く使用されている3つのバグを特定し,修正するケーススタディを提案する。 我々は、ニューラルネットワークのテスト専用のライブラリである、コード品質チェックリストとリリースパンゴリNNを提案する。
  論文  参考訳（メタデータ） (2023-03-28T17:28:52Z)
• Assisting Human Decisions in Document Matching [52.79491990823573]
  我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。 ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。 一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
  論文  参考訳（メタデータ） (2023-02-16T17:45:20Z)
• DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
  われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。 FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。 本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-15T17:34:35Z)
• On mistakes we made in prior Computational Psychiatry Data driven approach projects and how they jeopardize translation of those findings in clinical practice [0.0]
  抑うつ検出タスクにおける7つの機械学習モデルの性能を比較し、特徴の選択が不可欠であることを示す。 最後に、この有用な分類ソリューションを、高い精度で、より優れた受け入れで、臨床実践に翻訳できるように、最適なプラクティスを要約する。
  論文  参考訳（メタデータ） (2020-06-11T13:30:24Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
  クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。 これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。 我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
  論文  参考訳（メタデータ） (2020-03-05T16:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。