黄杨是灌木或小乔木，高1-6米；枝圆柱形，有纵棱，灰白色；小枝四棱形，全面被短柔毛或外方相对两侧面无毛，节间长0.5-2厘米。叶革质，阔椭圆形、阔倒卵形、卵状椭圆形或长圆形，大多数长1.5-3.5厘米，宽0.8-2厘米，先端圆或钝，常有小凹口，不尖锐，基部圆或急尖或楔形，叶面光亮，中脉凸出，下半段常有微细毛，侧脉明显，叶背中脉平坦或稍凸出，中脉上常密被白色短线状钟乳体，全无侧脉，叶柄长1-2毫米，上面被毛。
花序腋生，头状，花密集，花序轴长3-4毫米，被毛，苞片阔卵形．长2-2.5毫米，背部多少有毛；雄花：约10朵，无花梗，外萼片卵状椭圆形，内萼片近圆形，长2.5-3毫米，无毛，雄蕊连花药长4毫米，不育雌蕊有棒状柄，末端膨大，高2毫米左右（高度约为萼片长度的2/3或和萼片几等长）；雌花：萼片长3毫米，子房较花柱稍长，无毛，花柱粗扁，柱头倒心形，下延达花柱中部。
蒴果近球形，长6-8(-10)毫米，宿存花柱长2-3毫米。花期3月，果期5-6月。
黄杨为东亚黄杨属的代表种，广泛分布，变异很多，且由此派生了几个不同的种，如中国西部产的毛果黄杨（B. hebecarpa），西南部产的皱叶黄杨（B. rugulosa），和黄杨均有密切关系。此外如日本产的日本黄杨（B. japonica Mull.-Arg. ）——小叶黄杨日本变种（B. microphylla Sieb. et Zucc.* var. japonica Rehd. et Wils.）（此种小枝及叶均无毛）亦无非由于地理分布的不同，致有局部的差异。黄杨的原亚种及尖叶黄杨（亚种）中发觉某些植株的小枝被极少量毛，甚至完全无毛，仅叶柄上面残留有短柔毛，此足证明黄杨又有向日本黄杨（B. japonica）逐渐移变的趋势。