Caaaaaalma, que no es oro todo lo que reluce.

Por partes:
Empresa que te haga las modificaciones: Red Wine Audio, pero no es barato, precisamente. Luego hay "manitas" que puedes encontrar en algunos foros que te lo pueden hacer. Pero esto último es a tu propio riesgo. De todas maneras, cambiar el disco no es complicado, solo hay que tener un poco de cuidado. Puedes buscar en la red sitios como
http://www.rapidrepair.com/.
Cambio de disco: hay que tener cuidado con el tipo de disco: algunos iPods llevan un disco de 1.8 pulgadas y otros ya incorporan directamente memorias de tipo compact flash. Los iPods de 4ª(Photo), 5ª(Video) y 6ª (Classic) llevan un disco Hitachi de 1.8. Los de 4ª con conector PATA IDE de tipo Compact Flash (50 pines) y los demas con conector zif. No hay ningún problema técnico. El único problema es de compatibilidad. Por eso no puedes poner "cualquier" disco. Necesitas discos de 1.8 pulgadas de 5mm de espesor y con conector zif o pata CF según sea de 5ª o 4ª generación. Que yo sepa, en este tipo de discos, la máxima capacidad está en 240GB para zif y en 120 para CF.
Aquí te pongo una guía de los modelos de disco necesario y de los pasos a seguir:
http://www.command-tab.com/2007/03/11/upgrading-ipod-hard-drives/. También busca en youtube por "ipod hard drive" y encontrarás un montón de videos explicando el proceso paso a paso. Y este artículo de los del RockBox es estupendo y muy completo:
http://www.rockbox.org/wiki/HardDriveReplacementTipos de ficheros: No vamos a entrar en la discusión sobre el mp3. Cada uno escucha música como quiere. Lo que si que pienso es que si vas a usar un Woo Audio 5 y unos HD800, estoy seguro que vas a notar facilmente las diferencias entre un mp3 y un fichero no comprimido (o comprimido sin pérdida).
Conectividad: el iPod no tiene salida de linea directa desde el DAC hasta el conector LOD. Es salida de linea pero pasando por una etapa de salida de inferior calidad. Precisamente por esto, la modificación electrónica consiste en saltarse esta etapa de salida y añadir unos condensadores de desacoplo. Esta modificación es simple a priori pero hay que tener manitas y ciertos conocimientos de electrónica. El cambio de disco lo puede hacer cualquiera con un poco de cuidado, pero la modificación electrónica la debe hacer alguien que sepa lo que está haciendo. Además, hay diferentes opciones para realizarla por lo que cada uno debe escoger con cuidado cual es la que mejor se ajusta a sus necesidades. Piensa que si desconectas esa etapa de salida y el propio amplificador interno del iPod, vas a perder la salida original de auriculares y ya nunca se podrá usar sin un amplificador externo. Hay que pensar las opciones con cuidado.
Otra cuestión tiene que ver con la
salida digital que plantéas: Puedes conectar a la salida del DAC interno del iPod y usar éste convertidor. Los de 4ª y 5ª generación como ya hemos visto, usan un DAC Wofson de altísima calidad, pero las generaciones posteriores usan un chip de bastante peor calidad. Por eso no verás en internet muchas modificaciones High-End de iPods de generaciones posteriores. Tampoco puedes sacar directamente la salida digital del iPod por coaxial, como comentas, pues el iPod no usa spdif ya que ataca el DAC directamente vía I2S. Podrías sacar la salida I2S pero esto si que es una operación complicada y, además, necesitas un DAC externo que tenga entrada I2S. No tiene mucho sentido hacer esto.
iPod High-End y generaciones de iPod: si lo que quieres es obtener una combinación de la mejor calidad de sonido posible y capacidad, tu única opción es hacerlo con un iPod de la 5.5 generación. Olvídate del Touch porque sería cargártelo y los resultados tampoco van a ser los apetecidos. Aunque cada uno es muy libre de hacer con su dinero, sus cacharros y sus oidos lo que más le apetezca.
Conclusión A (si el proyecto HEIPS es una obsesión): yo no me complicaría la vida: si el dinero no es problema y te vas a gastar toda esa pasta en los HD800 y el WA 5, entonces por un poco más le compraría a Red Wine Audio el iMod completo, cable LOD especial incluido. Y a funcionar.
Conclusión B (si el proyecto HEIPS no es una obsesión): hay otras opciones mucho mejores, más simples y de mejor calidad para hacerse un sistema high-end basado en disco duro (de capacidad ilimitada) y que además se integre de manera transparente con un iPod sea el que sea. Piensa además, que esos discos pequeños no están pensados para trabajar continuamente como trabajarían en un equipo estable por lo que te darán problemas cuan lleves unas cuantas horas de uso. La red esta llena de comentarios sobre discos de iPod estropeados por lo frágiles que son. Aunque siempre tienes la opción (muchíiiiiiiiiiisimo más cara) de ponerle un disco SSD (o de estado sólido). Piensa también que tener limitada la discoteca a la capacidad del iPod es un problema y perderla entera por un fallo en el iPod ya ni te cuento. Y, para terminar, manejar un buen puñado de contenidos con el interfaz del iPod, acaba siendo un mecanismo lento y farragoso.
Mi experiencia (por si te sirve de algo): yo tengo un iPod modificado (por mí) y lo uso para lo que es: para oir música portatil. Lo llevo con un Ray Samuels "The Shadow" y unos auriculares Westone y estoy bastante satisfecho con el resultado. Pero si lo conecto al equipo, aunque suene bien, no llega ni por asomo a la calidad proporcionada por el sistema estable.