I test de audio digital: WAV vs OGG ¿qué nos estamos perdiendo?

Iniciado por pablopi, Octubre 22, 2016, 17:00:53

Tema anterior - Siguiente tema

pablopi


Hola a todos.

Aunque no participo activamente de modo habitual en auriculares.org, me permito invitaros a tomar parte en un experimento colectivo. El objetivo es analizar la calidad de audio que podemos conseguir utilizando el codec OGG/Vorbis de modo comparado con la de muestras de audio almacenadas sin compresión de ningún tipo, en formato WAV, a 16 bits y 44 Khz.

OGG/Vorbis (simplemente OGG en adelante) es un veterano codec de audio digital desarrollado por la Fundación Xiph.Org. Pertenece a la familia de codecs llamados perceptivos. Esto quiere decir que utiliza un modelo psicoacústico para reducir el tamaño del archivo resultante del proceso de codificación por lo que cuando se emplea se produce una pérdida en la fidelidad del audio de las muestras originales que se recodifican. Dicho de otro modo, su funcionamiento no es transparente puesto que opera bajo la premisa de descartar información que teóricamente no es audible, del mismo modo que los archiconocidos MP3 y AAC.

Lo que vamos a tratar de determinar precisamente es en qué medida esa pérdida es audible o no, y bajo qué condiciones.

Aunque es posible que existan otros codecs más eficientes, he escogido OGG por el hecho de ser de código abierto, por su popularidad (es el empleado por Spotify) y su buen rendimiento contrastado. En cualquier caso, OGG ofrece mejores resultados que MP3 a igual tasa de bits

La sistemática de la prueba es la siguiente:

  • He seleccionado 5 pistas de audio a partir de mis propios CDs y las he extraído en formato WAV.
  • A continuación, he escogido un fragmento de entre 30 y 50 segundos de cada una de ellas y he generado 5 archivos en formato WAV.
  • Estos 5 archivos se han recodificado en formato OGG. En este punto se ha producido una pérdida en la fidelidad del audio de las muestras originales.
  • Para evitar que el tamaño del archivo delatara el codec empleado en cada caso, las muestras en formato OGG se han re-empaquetado nuevamente como archivos WAV.
  • Los 5 pares de archivos resultantes (versión en WAV / versión en OGG, pero ambos conjuntos presentados en contenedores WAV) han sido renombrados de modo uniforme: Pista 1-A, Pista 1-B, Pista 2-A, Pista 2-B... asignando aleatoriamente los sufijos A y B a cada par de pistas.
  • Se ha construido una página web en la que se han publicado todos los archivos, así como un cuestionario que contiene una serie de preguntas.
  • El test estará abierto durante un periodo de tiempo que, en principio, voy a establecer en 30 días. Además, se publicará en diferentes foros y en mi cuenta de Twitter, Facebook y blog personal.
  • Pasado ese periodo de tiempo, que espero sea suficiente para conseguir un cierto número de ensayos (idealmente del orden de cientos), el cuestionario se cerrará y procederé a analizar las respuestas enviadas.
  • Tanto la hoja de cálculo con los datos recogidos como las distintas tablas dinámicas y gráficos resultantes del análisis serán publicados y quedarán a disposición de cualquiera que quiera revisarlos.
El cuestionario a responder tras la audición tiene 3 secciones. En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor. Existe también una tercera respuesta posible si no se aprecian diferencias. Del mismo modo, hay que indicar qué grado de confianza se tiene en las elecciones realizadas. Las siguientes dos secciones contienen preguntas que son opcionales, pero se incluyen para recoger datos que permitan segmentar los resultados y tratar de interpretarlos.

Hay alguna cuestión más que comentar al respecto de la prueba y del formulario de respuesta, no obstante he incluido la información que me parece más relevante en la propia página web del experimento.

Así que, sin más, aquí tenéis la web de la prueba:


Muchas gracias a todos los participantes por adelantado. Las impresiones de los aficionados que utilizáis habitualmente auriculares son muy valiosas.



Nota: Este mensaje ha sido publicado en varios foros dedicados al audio con el objetivo de darle la mayor difusión posible, mis disculpas si eso contraviene la política de uso de este espacio.

pablopi

#1
Y AQUÍ TENEMOS LOS RESULTADOS

A continuación os muestro una serie de gráficos que detallan los resultados obtenidos. Si alguien desea analizar los datos en bruto, respuesta por respuesta, así como revisar detenidamente todas las tablas dinámicas y gráficos generados a partir de ellos, puede hacerlo en esta hoja de cálculo de Google:

Test audio comprimido (publicado)

Este documento es de solo lectura. No obstante podéis hacer una copia (es necesario para ello disponer de una cuenta de Google) haciendo Archivo > Crear una copia para disponer de una versión propia, ya editable, en la que se pueden ver las fórmulas empleadas, editar los gráficos o realizar nuevos análisis. Por ejemplo, quizás sería interesante estudiar en qué modo las variables (tipo de escucha, perfil, nivel del equipo, etc.) determinan el número de aciertos en cada una de las pistas de modo específico e independiente. Yo he hecho el análisis que os presento de modo global, puesto que de lo contrario el trabajo se hubiera alargado mucho, y solo he descendido a este nivel de detalle para relacionar aciertos con confianza en la elección, que sí podréis encontrar más abajo representados pista a pista.

Esta es por tanto una prueba de código abierto :-), así que os animo a utilizar la hoja de cálculo con las respuestas para obtener más información y a compartir los resultados.

Vamos con los gráficos. Hay muchos y su carga puede demorarse, paciencia.


1. Información estadística de los participantes

1.1 Participantes


1.2 Edad Media


1.3 Sexo


1.4 Escucha con auriculares / altavoces


1.5 Nivel del equipo


1.6 Perfil de usuario


1.7 Modo de realización de la prueba


1.8 Uso de mejoras eléctricas


1.9 Sala acondicionada


1.10 Uso de corrección digital / EQ




2. Resultados generales

La secuencia de pistas que se corresponde con los archivos wav era:

BAAAB

No había ninguna pista "trampa" (ambos archivos idénticos).

2.1 Porcentaje de aciertos generales


2.2 Respuestas por pista


2.3 Confianza por pista



  • Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115 (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?
  • Por último, aunque solo un pequeño porcentaje de usuarios ha identificado las pistas WAV, lo que podríamos denominar la inteligencia audiófila colectiva ha optado claramente por las versiones WAV de las 5 pistas, lo que no deja de parecerme intrigante.
3. Aciertos en función del tipo de escucha

3.1 Aciertos por tipo de escucha


3.2 Porcentaje aciertos altavoces


3.3 Porcentaje aciertos auriculares


Contrariamente a la creencia popular los resultados apuntan a que resulta más fácil identificar las pistas WAV (4 o 5 pistas correctamente identificadas como WAV) con altavoces que con auriculares (37,5% frente a 12,2%).


4. Aciertos en función del perfil del usuario

4.1 Aciertos por perfil


4.2 Porcentaje aciertos novatos


4.3 Porcentaje aciertos aficionados


4.4 Porcentaje aciertos usuarios con experiencia


4.5 Porcentaje aciertos profesionales


4.6 Porcentaje aciertos músicos



  • El bajo número de muestras pertenecientes a determinados colectivos no permite extraer, en mi opinión, conclusiones claras (3 músicos, 3 usuarios que se consideran profesionales del sector) en determinados casos.
  • El porcentaje de usuarios que se consideran aficionados o usuarios con experiencia e identifican 4 o 5 de las pistas WAV es prácticamente idéntico (24,4% frente a 23,1%). Este factor por tanto no parece ser relevante.
5. Aciertos en función del nivel del equipo

5.1 Aciertos por nivel del equipo


5.2. Porcentaje aciertos equipos nivel bajo


5.3. Porcentaje aciertos equipos nivel medio


5.4. Porcentaje aciertos equipos nivel alto



  • Los participantes con equipos de nivel medio - alto han obtenido un porcentaje mayor de aciertos que los que empleaban equipos de nivel bajo. La calidad del equipo sí contribuye, aparentemente, a facilitar la detección de diferencias.
  • Ningún usuario con equipo de nivel bajo ha identificado las 5 pistas WAV.
6. Aciertos en función del modo en que se ha realizado la prueba

6.1 Aciertos por modo de realización de la prueba


6.2. Porcentaje aciertos archivos descargados


6.3 Porcentaje aciertos escucha desde el navegador


Las gráficas sugieren que los usuarios que han descargado los archivos para realizar la prueba han tenido más éxito a la hora de identificar las versiones WAV (29,4% frente a 15,6% a la hora de obtener 4 o 5 aciertos).


7. Aciertos en función del uso de mejoras en alimentación

7.1 Aciertos por uso de mejoras en alimentación


7.2. Porcentaje aciertos usuarios sin mejoras


7.3. Porcentaje aciertos usuarios con mejoras


Los resultados obtenidos no permiten vincular un mayor porcentaje de éxito a la hora de identificar los archivos WAV con el uso de mejoras en la alimentación eléctrica del equipo empleado (25,9% frente a 25% a la hora de obtener 4 o 5 aciertos).


8. Aciertos en función del acondicionamiento de la sala

8.1 Aciertos por uso de acondicionamiento pasivo


8.2. Porcentaje aciertos usuarios sin acondicionamiento


8.3. Porcentaje aciertos usuarios con acondicionamiento



  • 2 usuarios han indicado que utilizaron auriculares para realizar la prueba pero también respondieron afirmativamente a la pregunta correspondiente al acondicionamiento acústico. Ambos no han sido tenidos en cuenta en las gráficas de (únicamente) este apartado.
  • En este caso, y paradójicamente, los usuarios que han realizado la prueba sin contar con una sala acondicionada han obtenido mejores resultados a la hora de identificar correctamente 4 o 5 de los archivos WAV que los que sí disponían de esta mejora (42,3% frente a 30%). Este resultado incongruente me hace pensar que el tamaño escaso de la muestra (solo 10 usuarios participantes que disfrutan de acondicionamiento pasivo) impide obtener conclusiones concluyentes.
9. Aciertos en función del uso de ecualización

9.1 Aciertos por uso de ecualización


9.2. Porcentaje aciertos usuarios sin ecualización


9.3. Porcentaje aciertos usuarios con ecualización


El uso de EQ y/o corrección digital de sala parece tener un impacto positivo en el índice de aciertos (45,5% frente a un 20,9% en el caso de los participantes que no disponían de esta mejora). No obstante, y nuevamente, el relativamente reducido número de usuarios que han indicado que empleaban EQ obliga a ser muy prudente a la hora de correlacionar estos factores.


10. Confianza en la elección: Pistas 1

10.1 Confianza personas que NO identifican el archivo WAV


10.2 Confianza personas que SÍ identifican el archivo WAV


En este caso los participantes que no identifican correctamente el archivo WAV demuestran más confianza en su elección que los que sí lo identifican (39,5% frente a 22,5%).


11. Confianza en la elección: Pista 2

11.1 Confianza personas que NO identifican el archivo WAV


11.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 2, como podemos ver, el grado de confianza es similar en ambos grupos.


12. Confianza en la elección: Pista 3

12.1 Confianza personas que NO identifican el archivo WAV


12.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 3 se obtienen resultados en lineas similares a los de la pista 2. La cosa está igualada, con una pequeña ventaja para los usuarios que no identifican correctamente el archivo WAV.


13. Confianza en la elección: Pista 4

13.1 Confianza personas que NO identifican el archivo WAV


13.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 4 las tornas se invierten: los usuarios que identifican correctamente la versión WAV lo hacen con mayor confianza (37,5% frente a 25,6%).


14. Confianza en la elección: Pista 5

14.1 Confianza personas que NO identifican el archivo WAV


14.2 Confianza personas que SÍ identifican el archivo WAV


Finalmente, en la pista 5 se repite un resultado similar al evidenciado en la pista 3: porcentajes similares en ambos grupos, con una cierta ventaja para los usuarios que no identifican correctamente el archivo WAV.


Conclusiones personales

Y llegamos por fin al final de este análisis, pero antes de concluir me gustaría agradecer nuevamente a los participantes su colaboración en este estudio informal.

Personalmente extraigo varias conclusiones:

La primera y principal es que el tamaño de la muestra me parece demasiado pequeño como para tomarse esto muy en serio. Mis expectativas iniciales eran, quizás, demasiado altas (cientos de muestras). Esto es especialmente cierto si tenemos en cuenta el reducido número de participantes pertenecientes a determinados colectivos:

  • Usuarios que identifican las 5 versiones WAV (4).
  • Participantes que se consideran novatos (6)
  • Músicos (3).
  • Usuarios profesionales (3).
  • Usuarios que disponen de salas acondicionadas (12).
  • Usuarios que emplean ecualización (11).
Esto invalida en gran medida cualquier análisis que pretenda correlacionar la influencia de estas variables entre ellas o con otras de las manejadas por esta prueba.

Por otro lado, me ha sorprendido enormemente que la respuesta colectiva a la hora de determinar qué pistas sonaban mejor ha convergido de un modo claro hacia los archivos WAV (BAAAB), a pesar de que solo 4 usuarios (4,8%) los han identificado correctamente a título individual.

Además, durante el tiempo en que la prueba ha estado abierta he podido comprobar en tiempo real cómo este comportamiento colectivo se iba perfilando y tendía progresivamente hacia esos 5 aciertos. De hecho, la tendencia ha sido muy clara desde los 20 - 30 primeros participantes en el caso de las pistas 1, 4 y 5, no tanto en las número 2 y 3. Especialmente la 3ª pista no ha tendido a su valor final (A) hasta prácticamente los últimos 10 días. Ha sido francamente curioso ver cómo, poco a poco, también en este caso las respuestas iban decantando la balanza por la versión WAV.

Tampoco debemos perder de vista que, aunque 10 participantes (12%), casi todos utilizando auriculares, no han identificado correctamente ninguna de las pistas WAV, esto no debe interpretarse como que han preferido de un modo consistente las versiones OGG, puesto que existía una 3ª respuesta posible (suenan igual). De hecho, tan solo se ha registrado 1 respuesta en la que el usuario ha preferido las 5 versiones OGG. (ABBBA).

Con respecto a las pistas de prueba, los espectrogramas de las versiones codificadas en OGG muestran una (muy sutil en algunos casos) disminución en su densidad espectral en la parte alta, quedando ligeramente desmochados, como se puede ver en estas imágenes. Creo que es innegable que el codec OGG hace un gran trabajo, al menos desde el punto de vista del análisis espectral.

Espectros de las pistas de muestra, versión WAV a la izquierda, OGG a la derecha (archivos para descarga aquí).







Por último, y tras pensar detenidamente en los resultados que arroja esta prueba, me inclino a pensar que sí existen diferencias audibles, hablando en términos absolutos y bajo determinadas condiciones, perceptibles por ciertas personas, entre un archivo WAV y su homólogo codificado en OGG utilizando una compresión con pérdidas.

Ahora bien, creo que es procedente cuestionarse si en condiciones normales de escucha esto resulta relevante o no. Al fin y al cabo nadie se sienta en el sofá a disfrutar de su música preferida en estado de alerta mental permanente, repitiendo una y otra vez determinados fragmentos de cada pieza, para detectar deficiencias en lo que está oyendo. O al menos no debería hacerlo si en algo aprecia su cordura. Las diferencias, de ser significativas, deberían ser evidentes y aflorar per se en lugar de requerir una escucha activa y analítica.

Y me temo que la respuesta a esta pregunta es, en última instancia, personal e intransferible.

Bogart

Test realizado y enviado ;)
A ver qué tal los resultados.

Saludos
Fuente: Musical Fidelity A3.5 CD, Pc+dac QNKTC AB1.2
Amplificadores: STAX SRM-T1S, Musical Fidelity X-CanV8P+PSU
Auriculares: STAX SR-407, AKG K702, Koss Portapro

pablopi

Gracias, Bogart (y resto de participantes). Los resultados, en unos días, tras el cierre del cuestionario.

pablopi

¡Venga con esas respuestas!  :) Necesitamos muchas más para que el análisis sea realmente interesante.

Hallenbeck


pablopi

Gracias a todos los participantes, ánimo con esas respuestas que estamos a 2 semanas del cierre del test.

pablopi

Algunas cifras y estadísticas para abrir boca:











El diferente número de respuestas contabilizadas en cada pregunta se debe a que las de la 2ª sección no eran obligatorias y algunos participantes han preferido no responder a algunas de ellas.

Voy a dejar el test abierto hasta la medianoche del 30 de noviembre, a ver si llegamos a las 100.

Muchas gracias a todos los que habéis participado y asimismo aprovecho para animar a los que aún no lo habéis hecho.

pablopi

Test cerrado.

Finalmente se han recibido 85 respuestas, aunque 1 será eliminada del análisis por deseo expreso de la persona que la envió. En breve resultados y análisis.

Gracias a todos.

pablopi

Los correos electrónicos con sus resultados acaban de ser enviados a las personas que lo especificaron al responder el test.

pablopi

Un pequeño teaser del análisis que será publicado próximamente...





Ant_56

Acabo de leer la siguiente exposición en otro foro, que demuestra que los resultados son comparables a una prueba realizada al azar:

http://audiophilia.foroactivo.com/t130p900-las-tribulaciones-y-cacicadas-en-auriculares-hifi-3

La combinación propuesta por Pablopi era la BAAAB
Existen 32 posibles combinaciones para acertar la combinación ganadora.  2x2x2x2x2=32

A saber:


a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b-a-a-b-b
a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b-a-b
a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b-a-a-a-a-b-b-b-b
a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b-a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b
a-a-a-a-a-a-a-a-a-a-a-a-a-a-a-a-b-b-b-b-b-b-b-b-b-b-b-b-b-b-b-b

En el caso de que de los 83 participantes, cada uno de ellos hubiese elegido una distinta, al azar y sin hacer la prueba, hubiese habido más de 2 personas que hubiesen acertado los cinco intentos (83/32=2.59375) ; es decir que el resultado de 4 acertantes ha sido casi cuestión de azar puro...

Imaginemos que solo hubiesen habido 32 participantes. El índice de aciertos hubiese sido el siguiente:

5 aciertos---1
4 aciertos---5
3 aciertos---10
2 aciertos---10
1 acierto----5
0 aciertos--1

Multiplicad este índice por 2.59375 que es el índice entre participante/probabilidades  y obtened las cantidades aproximadas de haber elegidos todos al azar.
Sin sacar la calculadora a estas horas :D , el cálculo es que:

5 aciertos ---2.59375
4 aciertos---12.96875
3 aciertos---25.93750
2 aciertos---25.93750
1 acierto-----12.96875
0 aciertos---- 2.59375  

TOTAL....83.00

Si los datos de los porcentajes generales de Pablo arrojan que:

5 aciertos ---4
4 aciertos---16
3 aciertos---13
2 aciertos---26
1 acierto-----14
0 aciertos---10

Llegamos a la conclusión que en algunos aspectos, los resultados han sido peores incluso que eligiendo al azar. En realidad salvo en 5 aciertos ( 4 / 2.59375 ) y 4 aciertos (12.968 / 16 ) los datos son peores o prácticamente calcados, como por ejemplo en el índice de 2 aciertos (25.93750 /26) y de un solo acierto (12.96875 / 14 )

Como dato curioso, señalar que eligiendo al azar el índice de cero aciertos debería haber sido de 3 participante  (redondeando) y se ha ido a 10 de la otra manera, mientras que el de 3 aciertos tenía que haber sido de 26 acertantes, siendo 13 los que lo han conseguido...

CONCLUSION:
Resultados propios del puro azar..

pablopi

#13
Cita de: Ant_56 en Diciembre 05, 2016, 17:09:23
Acabo de leer la siguiente exposición en otro foro, que demuestra que los resultados son comparables a una prueba realizada al azar:

http://audiophilia.foroactivo.com/t130p900-las-tribulaciones-y-cacicadas-en-auriculares-hifi-3

La combinación propuesta por Pablopi era la BAAAB

El razonamiento no es correcto desde la base, Ant_56. Repasemos teoría de probabilidad  :).

Había 3 respuestas posibles en cada una de las pistas. Por tanto la probabilidad de éxito no es 1/2⁵ (32) sino 1/3⁵ (0,004115226), expresadas ambas en tanto por uno. A esta probabilidad la vamos a denominar p (un usuario identifica correctamente los 5 archivos WAV).

Por otro lado, la probabilidad de que un número X de personas identifique correctamente los 5 WAV (recordemos, suceso p) de entre n intentos (participantes), no creo que pueda calcularse como indicas en tu mensaje, sino que puesto que cada intento de un participante puede caracterizarse mediante un suceso de Bernoulli (son independientes entre sí y tienen una probabilidad determinada de éxito que es constante) parece razonable suponer que debe poder aproximarse mediante una distribución normal:



En esta tabla he calculado los valores que adopta esta distribución para distintos N y X, siendo p la calculada para el suceso de base (acertar los 5 WAV). Aparece sombreado el caso que nos ocupa: 83 participantes y 4 acertantes de un "pleno al 5"  ;).



Fíjate, la probabilidad de que esto ocurra es de 3,80E-04 (¡en tanto por 1!). Osea, 2 órdenes de magnitud más pequeña (aprox) que ese 4,8% de acertantes (0,038049%).

pablopi

Por otro lado, me llama poderosamente la atención que la respuesta más frecuente en cada pista coincida con la secuencia de los 5 WAV ¡a pesar de que solo 4 (un número muy reducido) de usuarios las hayan acertado a título individual. Esto me parece desconcertante.