如果不符，各种绩效指标就不用看了。

　　ａ．测试数据是否涵盖了至少一个大的牛市和一个大的熊市，一般至少要十年以上。我见过很多系统，测试指标很漂亮，可仔细一看，测试结果是基于指定的某段时间，譬如从２０００年到２００５年。这时就要打个问号了，因为２０００年以前的数据不难得到，为什么不从１９９０年或更早开始呢？对于大多数要卖钱的交易系统，这样做是不难理解的。一般来讲，测试涵盖的时间越长，测试的可信度越高。

　　ｂ．测试是否把交易佣金从赢利中扣除。否则，你可能在为证券公司打工。这一点对于交易频繁的系统尤其重要。
　　ｃ．测试是否把交易的滑价从赢利中扣除。
　　譬如测试的某个交易是在40元买入的，在实际交易中可能你买不到，你可能要花40.10元，有的市场甚至可能要40.50元。这一毛或五毛的价差是不是刨去了？好的系统测试会根据被测市场的流通性假设一个合理的滑价。越是短线的交易系统，滑价造成的影响越大。
　　在测试时坚持合理的假设，会减少在实际交易中出现的没有预想到的损失。另一个需要注意的情形是如果系统是一个突破型的系统，例如在股票突破五日最高点时买进，这时市场上可能有很多交易者都盯着那个点买入，在价格突破时会有很多人进场作多，这时即使是日成交量很大的股票都可能会出现大的滑价，在测试中这些都需要考虑进去。

　　2，检查测试结果是否具有统计意义上的可信度。
　　如果统计意义上的可信度很低，别的指标不用看了。
　　统计意义指标有：
　　ａ．交易次数。至少要超过100，才能满足一般的统计要求。结果的不确定性是与交易次数（统计上的样本大小）的平方根成反比的。因此，系统交易的次数越多，这些交易所表现的系统绩效的确定程度就越高，也就是结果越可信。

　　ｂ．系统的赢利是不是集中在少数几个交易上。
　　如果一个系统的赢利有十万元，但其中的七万来自于某两次交易，那么应该把这两次交易去除看你能不能对系统的其他次交易的结果满意，因为很有可能你在实际交易中碰不到这种“满贯”型的交易。
　　3，系统是否被“过度优化”。
　　可以观察以下两点得到初步印象：
　　ａ．系统有几个优化参数。
　　参数越多，“过度优化”的可能性越大。一般来讲，超过两个就很危险了。如果你手头有系统测试软件，你可以做个简单的试验：选一个股票品种，用两个移动平均的交叉作买入和卖出的信号，然后对这两个移动平均的日数做优化（例如从１０日到１６０日，５日一阶），有可能优化的结果是很不错的。如果再加一个参数，譬如说止损点或赢利点，那么今天你就可以找到不少诱人的系统。但是你会用这些系统去交易吗？

　　ｂ．系统交易程式中是否有“魔术”数字。
　　如果有，就要问为什么用这个特定的数字。譬如，程式中用了一个２０天的移动平均，一般我都会问为什么用２０天而不是１０天？如果是１０天的移动平均会是什么结果？３０天又是什么结果？
　　ｃ．系统的交易策略是否简单。
　　越是逻辑简单的系统，一般来说，越不容易被过度优化，也越能经得起时间的考验。
　　4，系统的交易策略是否有实际意义。
　　也就是说，系统的交易逻辑必须能够被合理解释。好的交易系统捕捉市场的某些可量化的特性，如果系统的逻辑无法合理地解释成市场的某种特性，那么这个系统是不可信的。
　　举个例子，假设某人发现在黄金价格突破２０天高点之后的三个月“中石化”总是会上涨，于是他开发出一个系统在黄金突破２０天高点时买入“中石化”股票。这个系统可能可以通过以上所有的可信度检验而且每年能给你１００％的回报，但是，在我有足够的想像力能够解释为什么“中石化”的股票跟金价会有这种关系之前，我是不会用这个系统进行实战交易的。

　　只有在通过了以上所述的可信度检验后，讨论系统测试的绩效指标才有意义。如果是自己进行交易系统的开发，在交易策略的选择、优化、测试的过程中就必须把可信度的问题考虑在内。
　　在交易系统的开发设计中，存在着种种误区，这些错误的思想和方法可能为交易系统开发者带来很多的苦恼，甚至开发出看似优秀而实际效果不佳的交易系统，导致在实盘交易中亏损惨重。下面简单阐述一下交易系统设计中的一些简单的、基本的观念和原则。
　　1，交易系统是一个捕捉利润的系统
　　我们开发一个交易系统，目的是盈利，这是一个很简单的道理。然而，在实际开发与应用中，相当多的一部分人把它当作一个预测系统。也就是说，如果出现做多信号，便认为行情会涨；或者在开发的过程中，过分追求信号的成功率，即如果出现了做多信号，行情一定会沿信号给出的方向运行。这是由于投资者长期形成的依赖行情预测的交易思想已深入自己的交易理念中，而对系统交易的本质把握不准而致。

　　实际上，全球大多数顶尖的交易员，他们的交易成功率均低于50%，他们获利的根本原因是能够将亏损的交易控制在小的范围内而将给赢利的交易足够的空间去发展，顺着行情方向走的路程大于亏损时走的路程，而不是预测行情正确的次数多于预测行情错误的次数，因为后者与盈利没有必然联系。
　　关键是，一旦发生亏损或盈利，我们开发的交易系统如何去处理它，才能使我们赢的时候走的更远，错的时候走的较短。过分的追求成功率会使系统的开发工作偏离方向。
　　2，交易系统是一个盈利大于亏损的系统
　　很多投资者设计过一些简单的交易系统，测试成绩很不错，而且在实际的交易过程中效果挺好。但投资者在使用的过程中还是经常抱怨所面临的亏损，绞尽脑汁的想办法去避免那些亏损的交易，然后又去寻找其他的指标来和原来的指标叠加以避免亏损发生。这是由于投资者过于追求完美的心态导致的。

　　实际上，交易系统是一个各方面因素互相影响的系统。投资者使用其他指标叠加的时候，有可能过滤掉一些亏损的交易，然而，这样的叠加也会对赢利的交易进行过滤，甚至可能出现虽然减少了亏损量，但亏损分布反而造成更大的资金回撤的情况。世界上不存在完美的交易“圣杯”，每个交易系统都存在缺点，都有亏损的时候，过于追求完美只会增加系统的复杂性。交易系统就是一片永远不能丝丝入扣的七巧板，我们需要做的就是尽力把它拼得完整一点。

　　3，好的交易系统是资金稳定增长的系统
　　一些投资者在对系统做历史测试的时候，只是通过观察测试报告中的盈利率来判断交易系统和参数的优劣，这样的情况下选用的系统或者参数可能是很危险的，这是由于设计者的片面思维造成的。