@狗蛋 谢谢大神分享。 按照你的例子。 有因子 a，by 行业去极值，就是在该行业里计算因子 a 的 std，然后根据 mean +- 3*std，限制取值。对吗？ 有因子 a，by 行业标准化，就是收窄到 [0,1]里，然后多因子相加排序。对吗？ （这里单因子的时候无法比较，因为每个行业都会有 0 值和 1 值） 算法如下？ ``` (data - data.min())/(data.max() - data.min()) #最小-最大规范化 [0,1]的范围内 ``` 有因子 a，by 行业中性化，就是以下算法？ ``` (data - data.mean())/data.std() #零-均值规范化 均值为0，标准差为1 ``` 标准化和中性化之间有先后顺序吗？ 计算结果，是否互相依赖？ 有没有标准化后再中性化，或者中性化后再标准化的说法？ 谢谢。

@小兵哥 我是菜鸟，你才是大神。 基本就是你列的计算式子（中性化时，我理解你写的 data.mean() 和data.std()会按不同行业分别计算）。聚宽没有申万行业或者类似比较清晰的一二级行业分类，挺麻烦的 说下我对这几个因子处理的粗浅理解。 1. 简单说，就是避免各种极端情况，比如过于集中到某个行业、因子、或者极值。而不是提高策略收益。 2. 既然为了避免极端情况，一般都需要买入大量股票，至少得30（沪深300成分股10%）个以上。如果最后只选5-10只股票，就有点和最初避免极端情况的初衷相矛盾。 3. 如果是个人投资者，资金量不是太大，有时要反“中性化”思维，利用一些大资金或者机构无法采用的策略（比如小市值、ST组合等 :-) )

@狗蛋 谢谢老司机带路，小散的确追求反中性化更佳。 后面还有几个小问题，老司机帮忙解答一下。 去极值的计算，和中性化、标准化有先后关系。 那，标准化和中性化之间有先后顺序吗？ 计算结果，是否互相依赖？ 有没有标准化后再中性化，或者中性化后再标准化的说法？

厉害了word哥

去极值有多种方式，比如均值/方差，分位数法，MAD法，还有一些。我自己实现的代码如下： ``` # 去极值：按均值-方差方式迭代去极值（3倍标准差） def winsorize_std(data, iter_cnt=5, inplace=False): if inplace: series = data else: series = data.copy() for i in range(iter_cnt): series = series.replace([-np.inf, np.inf], np.nan) std = series.std() # 计算标准差 mean = series.mean() # 计算平均值 lower = mean - 3*std # 计算下边界 upper = mean + 3*std # 计算上边界 series[series < lower] = lower # 去下极值 series[series > upper] = upper # 去上极值 return series ``` ``` # 去极值：按分位数进行去极值 def winsorize_quantile(data, pvalue=0.05, inplace=False): if inplace: serise = data else: series = data.copy() series = series.replace([-np.inf, np.inf], np.nan) lowerbound = pvalue / 2.0 upperbound = 1 - pvalue / 2.0 lower = series.quantile(lowerbound) # 计算下分位数 upper = series.quantile(upperbound) # 计算上分位数 series[series < lower] = lower # 去下极值 series[series > upper] = upper # 去上极值 return series ``` ``` # 去极值：使用 MAD 方式去极值 def winsorize_mad(data, num=3, inplace=False): if inplace: series = data else: series = data.copy() series = series.replace([-np.inf, np.inf], np.nan) median = series.median() mad = abs(series - median).median() mad = mad * num * 1.483 lower = - mad upper = mad series[series < lower] = lower series[series > upper] = upper return series ```

@jaskell 正要增加分位数方式，发现宽友已更新。赞美！ @小兵哥 ，实践能力无敌！

赞赞赞！

@jaskell 超赞的代码，谢谢指点。

感谢 @w11 的分享 [中性化的研究][1] 按照研究里的代码修改了策略，对因子增加了去极值、中性化、标准化的处理（处理过程见 fun_test()）。 3 年累计收益 174.87%，比原始的单因子 pb_ratio 收益 118.41%，提高了 47.68%。 超赞。 不敢藏私，测试代码见回测。 [1]: https://www.joinquant.com/post/3720?tag=algorithm

可能回头有时间的吧，没准写点相关内容的材料。 先说几个问题，标准化过程对应的是标准化的解读。简单理解数据分为四种类型，定性、定序、定比、定距。只有最后一种高精度数据才能绝对差值解读并进行更多的计算。一个简单的例子，99分和100分与98分到99分不一样。标准化后，解读为每一标准差都是等距的，那么解读为每一标准差变动balabala。。。。。那么一般标准化后处理的截取内容不是前10，而是前一个标准差（单纯从数据逻辑而言），因为一般认为一个标准差内的每个样本具有相似的特性。 对于极值处理目前常见的有断尾和截尾，就是去掉极值或者以极值分位处数据进行超范围样本对应数据的填补。winsor就是说的后一种方法，在我常用的stata数据软件中很容易实现，python的话你再看看。 当我们讨论数据有出现这样的极值被处理现象时，模型方法要相对进行变动，常见的术语叫truncated，对应的常见计量模型有tobit，类似与带有selection的logit或probit回归方法。一个例子，被观测到的慈善捐款不能出现负值，那么被观测到的数据进行统计会出现偏误，至少不能把得到的结论推广到全部整体。那么tobit就可以应用到这样的情景。selection的过程是两阶段方式，再展开说又是一大堆。

@Sunx 谢谢大神，感觉自己要补的功课有好多。短短 2-3 百字，数个名词看不懂，继续学习去。

@小兵哥 我又看了一下大家这样处理的目的，要解决行业异质性问题。跟我开始看到标准化后的直觉有些差异。具体的处理方法还得多向大家学习。

@jaskell 请问，您贴的第三种去极值的算法，就是大名鼎鼎的中位值去极值法吗？查阅到的文档都一致推荐此方法最佳。 有介绍文档吗？（搜索不出来）谢谢。

@小兵哥 我了解得也不多，找了下，好象这篇文章里有提到细节，你可以自己研究下：20160623-东方证券-《金工磨刀石系列之二》：选股因子数据的异常值处理和正态转换

@小兵哥 请问代码里的jqdata包是你自己写的还是某个开源第三方的呢？怎么可以获取到呀？

@martin2350 jqdata 是聚宽提供的，直接调用即可。

@小兵哥 写了篇关于去极值用比较常用的方法比较，有兴趣可以参考，欢迎交流探讨 [去极值的帖子][1] [1]: https://www.joinquant.com/post/4457?tag=algorithm

兵哥求助：用全市场测试市值、流通市值、PE，测试着中性化效果不是很理想。因此按您这篇贴的的回测时间测试了我的代码，在所选的4个行业中，均仓最小pb收益为108.44%回撤35.372%，按w11的方法加入中性化后收益是168.30%回撤49.899%。 但是，用全市场原来是169%，中性化后是175%，几乎没提高。而且在用在市值、PE、流通市值等数据上，收益明显降低。 所以想问下您是怎么用的？是在选股的时候都用上中性化么还是？

@zhaolilei 去极值、中性化、标准化，要一个一个来。 中性化后仍不可以直接跨行业比较。