宝石和玉石在物理性质上也有很大的差异。宝石具有高硬度、高密度、高折射率、高色散率、高耐腐蚀性等特点，以及独特的光学效应(如闪光、星芒、色彩深浅变化等)。而玉石则更注重触感和味觉上的感受，其冷热感官与手摸时有微小差异，有品位时还带有一定的甜味，但在物理性质上比宝石低很多。钻石等宝石硬度高于玉石，光泽更亮。宝石的硬度普遍较高，其摩氏硬度往往超过7，而且高档宝石的硬度更高，抛光后的光泽也更为明亮。例如，钻石作为最硬的宝石，其摩氏硬度达到10，展现出金刚光泽，这是最强的光泽。红蓝宝石紧随其后，摩氏硬度为9，呈现出强玻璃光泽。而祖母绿和海蓝宝石的摩氏硬度在5至8之间。