[文章]基准测试结果的评价

2013-5-6 18:01| 发布者: jobs| 查看: 250| 评论: 0

摘要:   在衡量基准测试结果时,必须清楚基准测试是在重荷下测量计算机部件或系统性能的应用程序。测试本身是人工模拟的,并不总是考虑“真实”系统中的一些变量。以下这些内容将有利于您对基准测试结果进行比较合理的评 ...
 

  在衡量基准测试结果时,必须清楚基准测试是在重荷下测量计算机部件或系统性能的应用程序。测试本身是人工模拟的,并不总是考虑“真实”系统中的一些变量。以下这些内容将有利于您对基准测试结果进行比较合理的评价。

  并非全部

  在考查一个服务器系统时,基准测试只是评价过程的一部分,因为您的个人需要是精确而独特的,您是在您的环境中工作,使用您的网络,用户、通信方式及设施。

  基准测试为性能比较提供了一个有用的切入点。凭经验来说,10%以内的差别不怎么重要,不过您可以用这些结果建立一组参考系统,以便详细研究。

  被监测的系统是否是可比较

  如果相同的基准测试在两个系统上运行,而其中一个系统的内存和外存都明显高于另外一个系统,那么凭测试结果未必能作出正确的比较。

  当衡量基准信息时,您必须确定要监测的系统的相似程度如何,是否足够相似能使测试结果有意义;在您作多服务器系统间比较测试结果时,请考虑以下几点:  

  1:操作系统---------使用完全一样或可以比较的版本。比较基准测试结果时,标明操作系统是最起码的要求。

  2:目前的硬件产品版本----------把从当前的设备中得到的测试结果与从以前(往往过去)的设备中得到的测试结果相比较是很不合理的。尽管在同一经销商的各代产品中进行这样的比较很有意义。

  3:应用程序-------使用同一应用软件的同一版本。基准测试应比较应用程序的同一版本,而不适合旧版本和新版本之间的比较。

  4:相同的硬件配置-----------比如说,测试应该用来评价具有相同的磁盘驱动器数,相同容量和存取速度的磁盘配置的计算机系统。

  阅读描述清楚的出版物

  如果您读到某个这样的基准测试结果“X机器的F表现比Y机器好18%,您一定希望追寻其真正的结果。这种结论需要有定义和数据的支持。向经销商来要书面形式的细节,来判断该测试对您的环境的可用性。

  如果您对某个基准测试不很熟悉,向您的经销商来要基准测试经销商的姓名、地址。所有的基准测试提供者都乐于提供有关他们软件和他们使用的审计过程的细节信息。

  当您面对基准测试信息时,您应该对下列的问题有明确的答案。如果事实并非这样,请向您的经销商索要细节信息。

  这个测试软件是测试服务器性能的还是测试部件性能的?

  部件级系统测试提供系统中某些元件的性能信息。在服务器系统中,平衡、匹配各个子系统,使它们能协同工作,要比提高系统中个别部件的性能,哪怕是提到最高性能更重要。

  性能结果在我对某个系统的评估中,是十分重要的吗?                      

  在对某个服务器系统进行评估时,性能结果只是评价中的一个元素。通常情况下,如果评价结果在10%以内,说明相对系统性能大体相似。在某个给定的产品环境中,也许任何差异结果并不十分重要。

  基准测试评价的工作与我要在服务器系统上进行的工作是同类型吗?

  每个基准测试都是为某类特定的系统应用而设计。如果您的应用对输入/输出吞吐量的依赖性较大,那您需要的是测量输入/输出吞吐量的测试结果,同样,如果您的应用对CPU性能的依赖性更大一些,您需要的则是有关CPU性能的测试结果。

  基准测试能准确模拟我的环境---------系统,应用,用户吗?

  向经销商索取基准测试参考资料,及与您具有相同的网络配置、用户负载,运行差不多的应用程序的顾客。

  我能容易地判断基准测试结果是否来自可比较的系统配置吗?

  简单细微之处,以获悉面对的是否是具有相同硬件及操作系统的系统间的比较结果。比如说,一个系统的CPU内部频率也许是75MHZ,而另一个系统则是100MHZ;也许一个系统用的是EISA网卡,而另一个系统用的是PCI网卡。如果没有书面形式的有关这些细节的材料,请向当地经销商索取。大部分经销商都乐于提供其基准测试的所有规范细节。

  谁执行基准测试

  理论上讲,工业标准的基准测试在完全独立的第三方审计、执行。但PC业的出版物中也经常发布一些比较有价值的系统比较结果。

  基准测试是同时进行的吗?

  如果基准测试执行的时间相差数月,那系统很可能已经是不可比较的了,因为技术、产品和体系结果发展很快。某个经销商发布的新基准测试结果实际上可能已不能同他发布的旧结果相比较。

  我对基准测试所不能监测的非性能因素给予充分注意了吗?

  比如说,您可能需要有关系统可用性、可靠性、可管理性、可升级性的信息。您可能还需要参考不同经销商提供的世界范围的支持与培训。

最新评论