Apuntes y reflexión breve

Buenas.

Desde hace unas dos semanas no ha habido demasiado movimiento en el desarrollo de ColorSharp. Sin embargo han sucedido suficientes cosas como para que valga la pena escribir sobre ello.

En la entrada anterior comenté como había realizado algunos esfuerzos para ponérselo fácil a la comunidad y que alguien se animara a contribuir al proyecto. A lo que comenté, debo añadir que también creé una lista de correo para quien quiera discutir sobre lo que sea más pausada y organizadamente de lo que permite un chat tipo IRC.

De momento, tanto la sala de chat como la lista de correo están completamente muertas. Es normal, el proyecto sigue sin ser conocido y es de nicho, además de estar relativamente verde todavía. Considero que la estructura y el plan de desarrollo permitirán que la biblioteca supere en flexibilidad y funcionalidad a las otras bibliotecas de conversión de color que existen para .NET (de hecho ya las supera en algunos puntos), pero de momento lo conseguido sigue siendo insuficiente.

Continuando con el asunto de la actividad, por suerte no ha sido todo malo. Añadí mi proyecto a la página de Up for Grabs, y, oh casualidad, al día siguiente tenía un “pull request” pendiente de revisión para ColorSharp 🙂 . Debo decir que aun no lo he integrado porque tengo que hacer más pruebas, pero debería darme brío para no desanimar al colaborador recién llegado. Además, me sorprendí viendo en mi buzón dos emails de dudas relativas a ColorSharp, aunque fueron enviados a titulo particular y no a la lista de correo. El asunto de los canales de comunicación debe ser tratado.

Otro punto que tenía pendiente hasta hace nada era la documentación. Finalmente he rellenado la wiki con explicaciones sobre la estructura de ColorSharp y como usar el proyecto.

Si nos fijamos en los artículos anteriores, podemos ver que mucho de lo que he comentado y me he propuesto sigue en el limbo. La creación de comunidad y asegurar que la experiencia “out of the box” es buena han sido los puntos que más han centrado mi atención la mayor parte del tiempo.

Parece mentira, pero pequeñas sutilezas pueden marcar una diferencia enorme en la actividad del proyecto y en la percepción que se tiene de él. Por ejemplo, actualmente tengo una lista TODO en un fichero dentro del repositorio, desde luego eso es mejor que nada, pero por muchos motivos es subóptimo.

Mi próximo movimiento, antes de tocar una sola línea de código, será mover toda esa información al bugtracker de Github. Esto servirá no solo para visibilizar la necesidad de “mano de obra” sino también para obtener una mejor visión sobre el progreso del proyecto.

Saludos!

Nueva versión: 0.10.0

Buenas 🙂 , aquí llega una nueva versión con novedades interesantes, tanto en la gestión como en la propia biblioteca.

Mejoras en la gestión del proyecto

En primer lugar, estoy haciendo algunos esfuerzos para facilitar que desarrolladores externos puedan y/o quieran contribuir al desarrollo de ColorSharp.

El primer cambio interesante, aunque ha supuesto ningún esfuerzo, es integrar el repositorio de ColorSharp en Github con el servicio Gitter; desde ahora ColorSharp tiene una sala dedicada de chat, tipo IRC. Se puede acceder a este chat a tanto a través de su página web como a través de diversas aplicaciones móviles.

Otro cambio menor es que finalmente tenemos una guía para contribuir al proyecto. Es muy probable que esta guía tenga que cambiar mucho dado que hasta ahora ColorSharp ha sido un proyecto fundamentalmente unipersonal.

Como extra, y por el momento sólo de forma experimental, estoy empezando a trastear con Gitcolony para gestionar la revisión de commits y “pull requests”. Parece una herramienta muy interesante (aunque privativa :(, todo sea dicho) para gestionar las revisiones de código de forma más o menos automatizada y bien organizada.

Cambios interesantes

  • Añadidos los illuminants B, C, D50 y D55.
  • Añadida una clase para generar espectros lumínicos de cuerpos negros para una temperatura dada.
  • Añadidas las funciones de matching de 1964 (10º) de la CIE.
  • Reemplazado las funciones de matching ed 1931 (2º) de la CIE con datos más precisos.
  • Mejoras menores en la conversión espectro->color:
    • Separadas las estrategias de conversión espectro->color de las estrategias para conversiones color->color.
    • Ahora es posible escoger entre las funciones de matching de 2º y 10º.
  • Mejorada la documentación XML.
  • Eliminada la dependencia de la biblioteca MathNet.Numerics.

Ideas que han surgido sobre la marcha

Durante estos días en que he estado realizando los cambios de esta versión he descubierto un proyecto muy interesante: Public Lab, en especial uno de sus subproyectos, Spectral Workbench. Esto me ha hecho pensar que podría ser interesante integrar en la biblioteca una forma de interactuar con la API de Spectral Workbench para importar o exportar espectros.

Bien, de momento no hay muchas más novedades que comentar. Os dejo con esto, y como siempre, os invito a colaborar 🙂 , y más ahora que os lo estoy poniendo más fácil.

Nueva versión: 0.9.1

Buenas,

hoy he liberado una nueva versión de ColorSharp (0.9.1). La lista de cambios no es demasiado larga, son los siguientes:

  • Añadido el espacio de color CIE UVW (1960).
  • Conversiones menos destructivas (ahora la información se preserva mejor)
  • Ahora los métodos ToSRGB, ToCIExyY y ToCIEUVW son virtuales y no abstractos para reutilizar código y facilitar la implementación de nuevos espacios de color. Esto se puede hacer gracias a la centralidad del espacio CIE XYZ (1932) dentro de la teoría de colorimetría.
  • Actualizada la dependencia MathNet.Numerics.

No hay mucho más que contar al respecto. Como siempre, os animo a colaborar y a preguntar si tenéis dudas 🙂 .

Saludos!

P.D. (Edición posterior) :

Después de liberar la versión 0.9.1 he introducido dos ligeras novedades en el desarrollo y distribución de ColorSharp:

  • Ahora también distribuyo los paquetes de NuGet a través de Github (en la sección releases), para no depender exclusivamente de nuget.org . Esto puede ahorrar muchos quebraderos de cabeza si la biblioteca se usa para desarrollos empresariales y nuget.org falla.
  • Por fin he añadido soporte a Travis CI 🙂 , antes era relativamente complicado, se tenía que trampear un poco el sistema, pero desde hace poco se le da soporte (beta) a Mono. Con este cambio todos los commits dispararán la ejecución de los tests dentro del entorno de integración contínua. Esto sirve para facilitar la integración de código ajeno (reduciendo el tiempo necesario de revisión), y para que cualquiera pueda hacerse una idea sobre la calidad del código sin tener que ejecutar sus propios tests.

Slow progress, but still advancing

Hi!

ColorSharp development has stalled in recent weeks, but there are minor improvements that deserve mentioning. In few words, there is more flexibility.

  • There are new constructors in the RegularLightSpectrum class.
  • Added HashCode and Equals methods to the spectrum classes, this is a requirement to make possible using spectrum instances in dictionaries and other similar data structures.
  • Minor (not significant) performance improvements.
  • Updated MathNet.Numerics dependency.

In a few days I’ll start again providing improvements to the library. In recent posts I’ve talked about performance, but I’ll prioritize architecture improvements (towards objects immutability and common interfaces implementation) and colour features extraction.

A little dose of statistics

ColorSharp's NuGet StatisticsSo, there aren’t many interesting news today, but i want to share some bits of information about ColorSharp’s usage 🙂 .

I don’t know who is using it, but I’m sure that I’m not its unique user 😀 . Since the 0.5.2 version there are a lot of downloads that I can’t explain with my own use cases!

I’m happy because this project it’s still in alpha state, but there are people who are using it. The bad point is that nobody have still forked the project, nor starred it or marked it as ‘watching’ in Github. Obviously no one has sent any pull request 😦 .

Another important point is that I’ll have to stabilize soon the ColorSharp’s API to avoid irritating other programmers. The “playing time” is coming to an end.

If you want to contribute, feel free to do it 😉 , and if you have doubts, feel free to ask me too!

Mejorando el rendimiento de ColorSharp

Estos últimos días he realizado algunos cambios importantes en ColorSharp, aunque no han repercutido demasiado en su funcionalidad. He cambiado ligeramente la arquitectura subyacente, he añadido algo de documentación, TODOs, CHANGELOGs… Sin embargo lo que me motivó para realizar los cambios que me llevaron al cambio de arquitectura fue la búsqueda de un mayor rendimiento.

La realidad es que las mejoras que obtuve fueron marginales. No he tomado medidas (os prometo que la próxima vez seré más serio), pero puedo asegurar que la conversión de unas 40.000 muestras de color CIE XYZ a sRGB (que en mi máquina tomaba un segundo y medio aproximadamente) presentaba cambios difícilmente perceptibles por un ser humano.

Cambios planteados

SIMD

El primer cambio que me planteé fue introducir paralelismo a nivel de instrucción (SIMD) en los algoritmos. Había leído hace tiempo que Mono facilitaba el uso de SIMD sin necesidad de usar código inseguro, y eso fue lo que me incentivó a buscar. Desgraciadamente tuve que abandonar este enfoque, pues el diablo está en los detalles.

La versión “original” de .NET no permite usar SIMD, o no lo permitía hasta hace muy poco. Recientemente han creado “RyuJIT”, que facilita el uso de SIMD… pero que presenta dos problemas: Es semiexperimental y su API para trabajar con SIMD es diferente a la que presentaba Mono. Por otro lado, parece que las versiones recientes de Mono para entornos de escritorio han eliminado el soporte de SIMD.

Algoritmo de Strassen

Una parte sustancial del cómputo realizado para convertir espacios de colores son productos de matrices. El algoritmo clásico de multiplicación de matrices toma un tiempo del orden O(n³) siendo n·n las dimensiones de la matriz. El algoritmo de Strassen se basa en un inteligente truco (basado en una observación de Gauss) que permite reducir ligeramente la complejidad asintótica del algoritmo. Aun no he aplicado esta optimización, sin embargo no espero una gran mejora, pues trabajo con n pequeña (generalmente 3).

Cambio de arquitectura

Este es el único cambio de la lista que ya he realizado a día de hoy. Consistió básicamente en reducir el uso de “Generics” y métodos “introspection/reflection”, así como hardcodear los mejores caminos de conversión entre espacios de color en vez de calcularlos en tiempo de ejecución.

Aunque este cambio no presentó cambios notables, es el que permite un mejor aprovechamiento de las futuras mejoras que incorporen las VMs/JITs de .NET y Mono.

Aprovechar la GPU con OpenCL

Cuando pensé en usar SIMD también pensé en aprovechar la GPU, sin embargo mi desconocimiento en este campo frenó mi avance en esta dirección. Casualmente esta mañana he encontrado información muy útil que seguramente llevará a que en breve ColorSharp sea mucho más eficiente 🙂 .

Mi plan es usar OpenCL.NET (que funciona en Windows, Linux y Mac, tanto en .NET como en Mono). En cuanto a como aprenderé a usarlo en condiciones, he encontrado este tutorial, parece que promete bastante.

Futuros artículos

Puede que parezca raro tener en cuenta los artículos divulgativos en la lista de tareas pendientes, pero considero que es una parte esencial del proyecto.

Siguen pendientes los artículos sobre .NET, Mono, NuGet, PowerShell, PASH, Chocolatey… (también hablaré de Wine!). Como avance, tratarán sobre el ecosistema de software libre alrededor de Mono, especialmente sobre sus puntos débiles.

Además, hay otros dos puntos muy importantes que deben ser tratados: Qué motiva el desarrollo de ColorSharp y qué lo diferencia del resto de bibliotecas; y cómo preparar un desarrollo Mono para poder usar un entorno de CI (Continuous Integration).

Nueva v0.7.0 y algunos apuntes

Hola a todos,

ayer lancé 2 nuevas versiones de ColorSharp con cambios significativos que podéis ver en el CHANGELOG, pero os hago un resumen de los más importantes:

  • Corregido un error importante en la conversión entre el espacio sRGB y el espacio CIE XYZ.
  • Eliminada dependencia de NUnit (he separado los tests en un proyecto distinto bajo la misma “Solución”).
  • Refactorización importante (que rompe la API anterior):
    • He eliminado el anterior sistema, que buscaba el “camino más corto” dentro de un “grafo de conversiones”. Era una característica de la que me encariñé, pero debido a limitaciones de C# (que le restaban elegancia a la implementación) y a que el número de espacios de color es acotado y “pequeño”, ésta no aportaba ventajas evidentes y sin embargo afectaba negativamente al rendimiento.
    • La componente Y del blanco de referencia pasa a ser 1.0 en vez de 100.0, se ahorran divisiones y se presta menos a confusión.
  • Añadida nueva documentación XML (el sistema de autocompletado o IntelliSense funcionará mejor con ColorSharp).
  • Ligeras mejoras en el fichero README, y por supuesto, por fin hay CHANGELOG.

Ok, esto en lo tocante al desarrollo del proyecto. También durante el día de ayer descubrí otros dos proyectos muy interesantes con objetivos muy parecidos a los de ColorSharp y en estadios de desarrollo bastante más avanzados.

Aun no he podido estudiarlos en profundidad, pero eso no es excusa para no darlos a conocer:

  1. El primero es Colourful , también centrado en .NET/Mono. Particularmente su arquitectura no me convence, pero aun así es una biblioteca muy potente y de la que seguramente sacaré ideas.
  2. El segundo es Colour-Science, un proyecto centrado principalmente en Python, pero que también provee código para otros entornos (como Matlab). Sinceramente, me ha dejado impresionado. El trabajo que hay detrás es descomunal y está claro que hay verdaderos expertos trabajando en él.

Tengo algunas cosas más sobre las que hablar (C#, .NET, Mono, NuGet, PowerShell, PASH…), pero se merecen sus propios artículos y un cierto esfuerzo de síntesis que soy incapaz de hacer a estas horas de la madrugada.