尽管如此，脑的大小并不能完全说明问题。“尼安德特人比我们有更大的大脑，但他们灭绝了。”荣格说，“男性的大脑也比女性的大，难道这意味着男性比女性更聪明吗？显然不是。”
事实上，相较于大脑的容量，大脑的结构才是聪明才智更可靠的代表。一般来说，女性有更厚的皮层，即大脑褶皱的外层（负责高级功能），而更厚的皮层与更高的智商相关联。男性通常有更大的皮层下区域，包括参与记忆和空间意识的海马体以及控制情绪、参与决策的杏仁核，但这并不意味着男性的这些能力必然更强。相较于女性，男性在这些能力测量值上的变异更大：两性之间的智力总体来说没有差异，但男性往往更容易分布在智力范围的两端。
此外，大脑的连接度也影响智力。根据目前最受支持的智力理论模型，认知能力高度依赖于与计划、组织和推理有关的额叶以及负责收集、组织知觉信息的顶叶。这些区域通常在人们做智力测验时最为活跃。有趣的是，高智商者的这些区域在这种时候反而不那么活跃，可能是因为他们的大脑工作更有效率。这两个脑叶之间更强的白质联结与更好的任务表现相关，特别是在需要心理速度和推理的子测验上。
另一些研究发现大脑的化学成分和智力相关。比如，更高的智力与协调感觉和视觉信息的大脑区域里更高水平的 n-乙酰天冬氨酸有关，后者是一种与神经健康和代谢相关的物质。