El elemento básico del primer microprocesador específico de Java corresponde a hardware basado en la Máquina Virtual de Java, que incrementaría el rendimiento sobre la implementación de software.

Esta inclusión habilitaría a que los bytecodes de Java sean ejecutados directamente por el chip, sin pasar por un intérprete. Si se trata de invocar un método en Java, tomaría unos pocos cientos de instrucciones a un intérprete software, mientras que el JVM de hardware podría entregar el resultado usando 10 o 20 microinstrucciones.

PicoJava está, además, provisto de parte del conjunto de instrucciones que no se encuentran en el conjunto de instrucciones estándar del JVM. A este conjunto se le llama "bytecodes extendidos". Los bytecodes extendidos se encargan de operaciones de control de bajo nivel, tales como acceder a los registros, control del caché y operaciones de carga y almacenamiento (load/store).

Variantes de picoJava son: microJava , definido como una CPU para computadores de red y UltraJava, procesador para Estaciones de Trabajo, además de implementar la mayoría de las características de las arquitecturas RISC.