A falta de que Kazka te dé una mejor respuesta con filtros y opciones avanzadas (y haga un manual de codificación de una **censurado** vez) para 200MB y 640x480 de resolución si la fuente (RAW) es buena no hay mucho misterio, el VirtualDUB mismo te genera un XviD decente casi con los valores por defecto...

Ahora bien, toda codificación supone una perdida de calidad mínima. Lo que viene a continuación es muy básico pero puede servirte (en cualquier caso te recomiendo que conserves los originales -RAW- para poder usarlos cuando sepas codificar mejor y aplica lo siguiente para aprender):

Yo para cosas sencillas uso mencoder (para GNU/Linux osea que no te servirá) pero con las siguientes filtros (que sí te servirán ya que se llaman igual en VirtualDUB que en mencoder, unos están en "filtros" y otros en "configuración de XviD"), te paso nombre del filtro y su descripción/uso sacado del mencoder:

* Trellis: Cuantización Trellis es un tipo de método de cuantización adaptativa que ahorra bits modificando los coeficientes de cuantización para hacer más compresible por el codificador de               entropía.  Su impacto en la calidad es muy bueno
* VHQ=4: para resumirtelo, mejora la calidad con menos bits, las opciones van desde 0 (desactivado) a 4 (búsqueda extendida), yo no le pondría menos de 3.
* denoise3d / hqdn3d: Este filtro intenta reducir el ruido de la imagen produciendo imágenes suavizadas y haciendo  que las imágenes quietas sean realmente quietas (Esto debería mejorar la compresibilidad). Puede tener de 0 a 3 parámetros. Si omite un parámetros, se usará un valor razonable.

luma= dureza de la luminancia espacial (por defecto = 4)
chroma = dureza de crominancia espacial (por defecto = 3)
time = dureza temporal (por defecto = 6)

hqdn3d es una versión de alta calidad de denoise3d, usalo denoise3d/hqdn3d o cualquier filtro antiruido sólo para raws con "ruido" (o raws con mala calidad por ser viejas) en la imagen para ver si consigues mejores resultados.

Los filtros qpel/gmc no te los recomiendo (además suelen ser la causa del 99% de XviD que no se ven/saltan en reproductores DivX).

Esto y un bitrate adecuado + codificar en 2 pasadas (y quizá aprender a usar "cropping" para cortar bordes negros y cuatro cosas más) como ya digo muy básico y -- por ejemplo -- con virtualdub creo que no puedes recodificar h.264 (los "MP4" por así decirlo)...

PD: Kazka si por casualidad lees esto, ¡curra! xD