为什么在很多作品设定里会特殊能力的人总是稀少的，这符合生物学吗？

比如魔法，如果魔法能力是可以通过遗传获得的，只有少部分人拥有魔法，但在残酷的自然选择下，会魔法的人明显拥有更强大的生存优势，更好的存活下来获得繁衍机会，从而使种群机会变大，就算在社会中，会魔法的人明显也可以得到更高的社会地位，在社会中占据优势，像历史上的皇帝们都有巨量的宗室。（比如明朝），而会魔法的人在古代所取得的力量是非常巨大的，在长达千百万年的演化中，会魔法的基因是否可以取代全人类的基因，创造一个没有麻瓜的世界呢？