ベンチマークの見方、書き方

• まぎらわしいというか誇大広告なベンチマークをよく目にする
• 自戒を込めて、たとえばこんなベンチマークはいやだ
• 実行環境が書いていない
• 実行環境が曖昧
• 実行結果の単位が独創的
• 入力内容が一種類だけ
  
• ハードディスクの性能。CPUの性能。メモリの性能。書き込み先デバイスの性能
• 実行結果がハードウェアの性能を超越している
• ベンチマークに関係しない事柄(テストファイルの入出力処理)と、その機能が消費するコストが明示されていない
• 次元の違うものなのに同軸に扱っている(機能は1/100ですが早いです!など)。同機能で比較すること。
• テストプログラムの問題(ｽﾚｯﾄﾞを走らせる処理でｽﾚｯﾄﾞの完了をまたずに完了としてる)
• それはキャッシュの性能だ
• 利用が想定される環境での測定が書かれていない。
• ウェブで使うもののはずがファイル書き出ししかしてないとか。
• 類似品との比較がない
• 可能であればベンチ結果を閲覧できるようにする