De primeras tenemos el problema de la arquitectura de la consola (La 3DS tiene una arquitectura ARM que hace que sea mucho más difícil programar en ella, mientras que la Nintendo 64 usa una arquitectura MIPS). Además, la OLD 3DS tiene muy poca potencia (Varios procesadores con un sólo núcleo) por lo que hace que sea más difícil que algún juego de Nintendo 64 llegue a una velocidad decente en OLD 3DS.

En New 3DS la mejoría en el funcionamiento sería mínima respecto a OLD 3DS por lo que tampoco ayuda demasiado.

La 3DS no permite manejar de forma eficiente los estilos de programación de otras CPU (Como si lo hacen PSP y creo que también Xbox), además la 3DS no maneja bien ciertas librerías por lo que podría decirse que está "capada" en el uso de algunas librerías, dificultando más aún el trabajo.

Viendo todo esto se puede decir que emular una Nintendo 64 en una OLD 3DS/New 3DS es muy difícil debido a la potencia y a su arquitectura (Por ejemplo PSP usa la arquitectura MIPS y por eso le facilita mucho el trabajo).

Si realmente quieres hacer un emulador de Nintendo 64, puedes preguntarle al autor de un "posible" emulador en el que está (No sé si seguirá con el) trabajando y tratar de ayudarle en este enlace (https://github.com/machinamentum/CTR64).

Siento que sean noticias tan malas pero si empiezas a hacerlo te deseo mucha suerte :)

Salu2