Evaluación final

Introducción

Objetivos y proceso de la evaluación. La Junta Ejecutiva del Fondo Internacional de Desarrollo Agrícola (FIDA) resolvió en 2008, que la Oficina de Evaluación Independiente del FIDA (IOE) llevara a cabo la evaluación final de la Fase II del Proyecto de Pequeños Productores Agrícolas de la Región Sur-Oeste (PROPESUR) implementado en la República Dominicana. La evaluación se realizó entre julio y diciembre de 2009, con el objetivo de i) valorar el desempeño y el impacto de PROPESUR; y ii) generar lecciones y recomendaciones con el fin de mejorar el diseño y la implementación de otros proyectos de desarrollo similares en el país. Además, la evaluación trata de proveer insumos para el nuevo programa sobre oportunidades estratégicas nacionales (COSOP – sigla en inglés) del FIDA para la República Dominicana.

La metodología de la evaluación incluyó tanto revisión de documentación existente sobre el proyecto como trabajo en el país. Se efectuaron dos misiones –una preparatoria y otra principal–. El trabajo de campo incluyó una encuesta representativa de 33 organizaciones comunitarias atendidas por el proyecto y la triangulación de los resultados obtenidos de toda la recolección de datos de la evaluación. Se elaboró el informe final, el cual fue revisado tanto por la División de América Latina y el Caribe del FIDA, como por los responsables del Gobierno y otros relacionados al proyecto. El acuerdo en el punto de culminación está incluido en este informe.

Contexto socio-económico y pobreza rural. La zona fronteriza entre la República Dominicana y la República de Haití, en la cual se ubicaba PROPESUR, es una de las más pobres del país. El FIDA ha apoyado con varios proyectos al Gobierno de la República Dominicana desde los años ´80 para promover el desarrollo de esta zona, la cual se caracteriza por una alta migración, una relativa ausencia del Estado y de servicios públicos, y condiciones de vida precarias de la población.

El proyecto. PROPESUR ha sido diseñado en 1998 y ejecutado entre los años 2000-2007, con tres extensiones en su duración. La población-objetivo incluyó a unas 10 000 familias rurales pobres. El objetivo de PROPESUR era aumentar los niveles de ingreso y mejorar las condiciones de vida de los campesinos pobres y aliviar su pobreza mediante el desarrollo social y productivo sostenible de la región del proyecto. El diseño del proyecto incluyó dos componentes programáticos: el desarrollo comunitario y el acceso a servicios financieros rurales. PROPESUR propuso elementos novedosos como una planificación-operación “por demanda” de los beneficiarios, una fuerte participación del sector privado en la ejecución, el fortalecimiento de un servicio financiero rural y el énfasis en un enfoque de equidad de género. El presupuesto total del proyecto alcanzaba USD 17,6 millones. La ejecución financiera llegó a USD 15,84 millones.

Desempeño y resultados

Pertinencia. PROPESUR fue pertinente en el contexto prevaleciente en el país. En vista de los resultados del proyecto anterior, los cambios introducidos en el diseño de PROPESUR resultaron adecuados para lograr mejores resultados en reducir la pobreza, a pesar de los riesgos asumidos. Durante el período de implementación del proyecto el enfoque del FIDA evolucionó y maduró, reflejo de un cambio conceptual que expande su enfoque más allá de la lucha contra la pobreza para incluir una perspectiva basada en los derechos humanos y ciudadanos. Esto contribuyó a comprender cuánto las condiciones sociales –además de las económicas– influencian el nivel de vida, introduciendo la dimensión de la seguridad alimentaria. Además, se introdujeron nuevos criterios de medición de pobreza mediante el Sistema de Gestión de los Resultados y el Impacto (RIMS, sigla en inglés). Eestos cambios influyeron en la orientación del proyecto.

A nivel de la conceptualización del proyecto, se definieron adecuadamente metodologías de entrada en diferentes líneas y subcomponentes con lógicas distintas para responder al amplio abanico de intervenciones para diferentes unidades de atención (comunidades, organizaciones, familias, individuos). El desafío planteado a la gerencia en este sentido resultó en algunas dificultades  en poner en práctica el proyecto en el terreno. En la primera etapa se favorecieron obras sociales en detrimento de una estrategia para promover un apoyo oportuno a lo largo de las cadenas productivas identificadas para la intervención (café, banano, hatos ovino-caprinos).

Eficacia. Las organizaciones de base pudieron reforzar sus capacidades de auto-organización y gestión de proyectos en un ambiente adverso (ausencia del Estado, emigración de jóvenes, analfabetismo, etc.) y la equidad de género fue transversalizada con éxito en las diferentes esferas del proyecto. La tercerización de servicios, vía entidades privadas, ha sido una modalidad efectiva de promover e incluir a organizaciones comunitarias como participantes y ejecutores del proyecto; de igual manera, las instituciones financieras intermediarias (IFI) apoyadas se potenciaron; el proyecto logró instalar capacidad profesional adicional en su zona de influencia. Además, las inversiones sociales del proyecto han mejorado notablemente la calidad de vida en las comunidades beneficiadas. Por otro lado, el apoyo a la producción agropecuaria comenzó demasiado tarde para lograr la integración sostenible de una mayoría de familias beneficiarias en cadenas productivas; la eficacia del proyecto en este ámbito ha sido baja. El proyecto facilitó el acceso a crédito a un número sustancial de clientes pobres a condiciones mejoradas, aunque la conexión de este componente con el desarrollo comunitario quedó débil. El proyecto no ha sido exitoso en fomentar el establecimiento de nuevas microempresas rurales. Finalmente, en el ámbito de un manejo sostenible de recursos naturales, el proyecto no logró una incursión efectiva.

Eficiencia. Los cambios en el contexto relativos al desmantelamiento de la estrategia de descentralización ocurridos en el lapso entre el diseño del proyecto y su efectividad afectaron la eficiencia durante la etapa de implementación; el proyecto requirió mucho tiempo para adaptarse al nuevo escenario y concretarse (‘aterrrizar”) en el terreno. El costo de operación del proyecto ha sido alto, con un tercio de los recursos utilizados para la gerencia y administración de un proyecto que aplicaba un modelo de tercerización de servicios vía coejecutores externos. Además, los gastos de la asistencia técnica para el desarrollo productivo fueron excesivos en vista de los resultados obtenidos. La sub-ejecución en rubros programáticos como los fondos de inversión comunitaria y de crédito presenta un desbalance con respecto a los gastos de gestión, administración y contratación de operadores y servicios. Por otra parte, el costo de las agencias de promoción de área (APA) relativo al fortalecimiento organizacional fue razonable.

Impacto en la Pobreza Rural

En el área de ingresos y activos netos, el proyecto logró aumentar el ingreso de 430 familias productoras de café con perspectivas de poder sostenerlo. La mayoría de los más de 4 000 clientes de las IFI incrementaron sus actividades y ventas. Más de 2 400 familias aumentaron sus activos con las letrinas construidas, mientras que las otras obras comunitarias quedaron en propiedad del Estado. Las ONG que manejaron las APA y las IFI pudieron aumentar sus activos e ingresos a causa del proyecto en forma sostenible.

El proyecto logró aumentar notablemente la capacidad administrativa y de gestión de las organizaciones de base apoyadas, sin aumentar sustancialmente la cohesión en las comunidades. La transversalización de la equidad de género logró impactos cualitativos notables en términos de autoestima de la mujer y de reflexión sobre los roles de hombres y mujeres, aun a nivel familiar. En las juntas directivas de las organizaciones mixtas no se dio todavía una mayor participación de las mujeres. El acceso al financiamiento tuvo un impacto de mayor reconocimiento de las mujeres-clientes en el ámbito familiar y vecinal.

Con respecto a la productividad agrícola, se logró una mejora considerable en las plantaciones de café de calidad y de banano orgánico, con un impacto potencial notable, a diferencia del área pecuaria (hatos ovino-caprinos) y de la capacitación en el manejo de áreas de bosque seco, donde no se nota mejoras sostenibles. Por otra parte, las actividades emprendidas para aumentar la seguridad alimentaria no llevaron a cambios perceptibles en la calidad y cantidad de los alimentos consumidos por las familias beneficiarias.

Los esfuerzos del proyecto de incentivar un mejor manejo de recursos naturales lograron impactos a nivel de familias (letrinas, uso de productos agroquímicos), pero no a nivel del manejo integral de una microcuenca. Finalmente, a nivel institucional y de políticas, la relativa independencia del proyecto sirvió para fortalecer instituciones privadas, mientras que con relación a la integración de los actores con entidades públicas, se observó la falta de políticas y estructuras, si bien recién se están creando.

Otros criterios del desempeño

PROPESUR promovió formas de intervención más efectivas, demostrando una modalidad viable de llegar con fondos del Gobierno a una población-objetivo rural marginada. El reforzar y trabajar con las comunidades y organizaciones de base en forma directa se ha traducido en una mayor sostenibilidad social de las intervenciones del proyecto. Además, en el campo económico-financiero, facilitar la integración de productores de cultivos comerciales en cadenas productivas crea capacidades de auto-sostenimiento, igual como el trabajo con IFI locales rentables. Por otra parte, las perspectivas de sostenibilidad son bajas para las intervenciones del proyecto en la seguridad alimentaria y en medio ambiente.

El proyecto introdujo importantes innovaciones: i) la coejecución con actores privados tipo ONG para el fortalecimiento organizacional a nivel comunitario; el enfoque de planificación-operación “por demanda” de las comunidades u organizaciones de base, combinándolo con un análisis de las potencialidades a nivel organizacional, local y regional; una mayor equidad de género en todas las esferas; y el acceso a financiamiento rural diferenciando ámbitos, lógicas e instrumentos. Si bien gran parte de éstas son replicables y ampliables, estas experiencias no han sido recogidas y difundidas en las instituciones del Estado, del sector privado y de la cooperación internacional. No se han producido hasta el momento replicación o ampliación de alcance de las innovaciones introducidas.

Desempeño de los Asociados

El desempeño del FIDA en PROPESUR merece reconocimiento en primer lugar por la aplicación –con cierto carácter experimental– de la modalidad de supervisión directa, ¹ en un momento en el que la experiencia del FIDA en este aspecto era limitada. El FIDA mantuvo sus instrumentos de seguimiento (visitas bi-anuales, informes sobre la situación del proyecto) y aseguró su cercanía al proyecto con la presencia de un asesor técnico principal (ATP) familiarizado con los estándares del FIDA. La apreciación por parte de la contraparte en el gobierno, la Oficina Nacional de Planificación (ONAPLAN ²), del rol jugado por el FIDA es positiva por el apoyo y la buena colaboración aportada. Cabe destacar, además, la buena labor del FIDA en cuanto al aprovechamiento de recursos técnicos de programas regionales como, por ejemplo, FIDAMERICA (Red de proyectos financiados por el FIDA en América Latina y el Caribe) y PREVAL (Plataforma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe).

No obstante, desde el punto de vista estratégico, la guía del FIDA fue limitada en el transcurso del proyecto, particularmente tomando en consideración las innovaciones propuestas; el relativo aislamiento institucional y geográfico del proyecto y los cambios –tanto en el entorno como desde el punto de vista conceptual por parte del FIDA–. Las dificultades del proyecto de “aterrizar”, los frecuentes cambios del marco lógico, y la poca instrumentación gerencial y administrativa del proyecto requerían decisiones a nivel de supervisión que no se tomaron. La revisión de medio término, si bien recomendó adaptaciones importantes, hubiera debido hacerse con un año de antelación para rectificar los retrasos en la estrategia de apoyo al desarrollo productivo, ganando tiempo crucial para lograr mejores resultados. Al final faltaron estrategias de salida adecuadas en lo productivo y en el campo de las microfinanzas. Y las valiosas experiencias y lecciones que se podían aprender al final de PROPESUR quedaron sin sistematizar y difundirse.

El Gobierno de la República Dominicana acompañó con interés el “caso piloto” de PROPESUR, facilitando las procesos a nivel de capital. Además, la agencia ejecutora (ONAPLAN) participó activamente en la gestión del proyecto, aunque su capacidad de orientación y supervisión estratégica fue limitada en razón de su escasa especialización en desarrollo rural. Si bien se aseguró la continuidad del personal profesional del proyecto, la gerencia (crucial en vista de las innovaciones propuestas por el proyecto y las debilidades mencionadas a nivel estratégico) sufrió varios cambios en la primera etapa lo cual afectó su capacidad de liderazgo. En el segundo ciclo del proyecto (2005-2007) la dirección del proyecto mejoró sustancialmente con la incorporación de un nuevo gerente con la experiencia y capacidad necesarias. El Gobierno cumplió con sus obligaciones financieras, a pesar de las dificultades por la crisis económico-financiera que estalló en 2002. El apoyo financiero a tiempo para ejecutar las actividades del proyecto sufrió algunos retrasos, en particular al inicio de cada año y después de cambios de gobierno.

Los coejecutores: asociaciones de beneficiarios, ONG, IFI y otros proveedores de servicios demostraron un alto nivel de compromiso y realizaron su labor de forma adecuada. En particular, se destaca el buen trabajo desarrollado por las APA.

Resumen de calificaciones

El siguiente cuadro resume las calificaciones del proyecto de acuerdo a los diferentes criterios de la evaluación:

 

Criterios de Evaluación	Calificaciones*
Resultados del proyecto
Pertinencia	5
Eficacia	4
Eficiencia	3
Desempeño del proyectoa	4
Impacto en la pobreza rural	4
Ingresos y activos de los hogares	4
Capital humano y social y empoderamiento	4
Seguridad alimentaria y productividad agrícola	3
Recursos naturales y medio ambiente	3
Instituciones y políticas	4
Otros criterios del desempeño
Sostenibilidad	4
Innovación, replicabilidad y ampliación del alcance	4
Calificación general del proyectob	4
Desempeño de los asociados
FIDA	4
Gobierno	4
Entidades coejecutoras	5

a  Media aritmética de las calificaciones de pertinencia, eficacia y eficiencia.
b Calificación calculada considerando el desempeño del proyecto, su impacto en la reducción de la pobreza rural, sostenibilidad e innovación.
* Las calificaciones se asignan en una escala del 1 al 6 (= muy satisfactorio 6 y 5 = satisfactorio, 4 = moderadamente satisfactorio, 3 = moderadamente insatisfactorio, 2 = insatisfactorio; 1 = muy insatisfactorio).

Conclusiones

PROPESUR combinó el fomento productivo rural con un enfoque de inclusión de los beneficiarios en la asignación de prioridades, ejecución y monitoreo de las actividades a apoyar. Lo novedoso del diseño resultó en aspectos que quedaron por definir y precisar en el curso de la implementación, dentro de un contexto cambiante. Como consecuencia, PROPESUR requirió un tiempo relativamente largo para concretar una estrategia sobre el terreno, sobre todo en el ámbito productivo. Es crucial disponer en tal proceso de búsqueda y adaptación de una instancia superior que vele y decida sobre la orientación estratégica del proyecto; esto no fue suficientemente el caso en PROPESUR.

Aunque el proyecto haya focalizado sus acciones en la población pobre, ésta comprende segmentos muy heterogéneos. Una gestión efectiva requiere de una selección de estratos, en los cuales el proyecto focaliza sus esfuerzos.

El proyecto ha sido efectivo en varios aspectos (organizaciones de base y equidad de género, provisión de servicios, infraestructura social, acceso a servicios financieros) y menos en otros (ámbito productivo y ambiental, seguridad alimentaria). Las sinergias esperadas entre (sub)componentes quedaron modestas. El fortalecimiento de cadenas productivas comerciales necesita ser completado para lograr la integración de asociaciones de productores en cadenas más provechosas. Es crucial que se extraiga y aprenda las lecciones en cada aspecto para aumentar la efectividad de la lucha contra la pobreza en la zona.

La comparación del monto total invertido de USD 16 millones con los resultados obtenidos refleja el costo de un “aterrizaje” postergado. La eficiencia en la utilización de los recursos ha sido afectado por una falta de claridad a nivel estratégico.

Por varias razones justificadas, se le permitió a este proyecto un importante espacio de experimentación, también debido a la relativa ausencia del Estado en la zona del proyecto. El incremento en la cooperación interinstitucional, tanto del sector público, como entre éste y el privado permanece como asignatura pendiente en vista de una continuación del apoyo al desarrollo rural en la zona.

A pesar de algunos esfuerzos al respecto, existen oportunidades para mejorar en cuanto a la difusión de sus experiencias y lecciones aprendidas en relación al desarrollo de la zona, particularmente en vista del alto contenido innovador de PROPESUR.

Recomendaciones

PROPESUR ha cerrado sus puertas a mediados de 2008. Mientras tanto, el Gobierno de la República Dominicana y el FIDA han acordado la preparación de dos nuevos proyectos de desarrollo rural, uno de ellos en la misma zona fronteriza con Haití –en un área más extensa que PROPESUR– y se ha aprobado el nuevo COSOP en abril de 2010. La evaluación propone las siguientes recomendaciones para los futuros proyectos en el país en el marco del nuevo COSOP.

(R1) Asegurar un anclaje institucional-político para los nuevos proyectos en una institución especializada en el desarrollo rural, dentro del marco de las nuevas políticas y estrategias del Gobierno al respecto. Se recomienda una intensificación del relacionamiento con diferentes entidades públicas –centrales y municipales–, con otros proyectos de desarrollo y con entidades privadas, con miras a identificar posibles sinergias y lograr un anclaje más firme de las actividades de nuevos proyectos en su zona de influencia.

(R2) Diseño y focalización:

mejorar la definición de población-objetivo, indicando las unidades a las que se dirige el proyecto (familias, microempresas individuales, organizaciones de base, comunidades); y velar por una clara diferenciación del conjunto “instrumentos-intervenciones-horizontes temporales” de acuerdo a las diferentes necesidades, capacidades, y “lógicas de progreso” de los diferentes grupos meta;

asegurar una participación activa de beneficiarios en la definición y ejecución de líneas de acción, durante toda la duración del proyecto, respetando el principio de una atención “por demanda”, pero, además, tomando en consideración otros elementos como, por ejemplo, las potencialidades y los riesgos tanto de las organizaciones, como de la región, del ambiente y del mercado;

recalcar el carácter provisorio de algunos aspectos del diseño como una guía inicial, diferenciando las partes que se considera obligatorias para el proyecto (compromisos en el contrato de préstamo) de otras que son indicativas y sujetas al criterio de los responsables para la implementación (Comité Directivo y Gerencia); se sugiere pre-definir pautas de implementación en el contrato de préstamo a ser seguidas por los ejecutores.³

(R3) Arreglos de implementación:

asegurar el ejercicio de funciones estratégicas para la implementación del proyecto, por entidades con la necesaria experiencia y capacidad en la materia. Estas funciones incluyen: supervisión de la ejecución operativa y financiera, seguimiento a la implementación y decisiones sobre la orientación del proyecto –particularmente en el caso de cambios notables–;

estudiar costos aproximados de diferentes modelos de implementación (ejecución por el proyecto, tercerización de servicios o una combinación de ambos) con miras a establecer pautas referenciales;

prever una tercerización adecuada de la provisión de servicios técnico-financieros; la utilización de capacidades en la zona requiere de una estrategia explícita de negociación, en particular con las ONG de peso activas en cada territorio.

(R.4) Líneas de acción/componentes:

• completar el apoyo a cultivos comerciales como el café y el banano producidos por grupos campesinos a lo largo de sus cadenas productivas ⁴ y reconsiderar el abanico de productos a fomentar incluyendo la agricultura bajo riego (como lo identificó el diseño de PROPESUR), con potencial de creación de empleo rural;
• fomentar el instrumento de concurso para acceder a fondos del proyecto para realizar proyectos productivos a nivel comunitario, incentivando la participación de jóvenes en ellas; se recomienda incentivar ideas innovadoras, incluso el desarrollo de relaciones económicas entre comunidad y ciudad;
• evaluar el estado de consolidación de las organizaciones sociales a fortalecer, como base para definir el apoyo específico del proyecto en cada caso,⁵
• en caso de seguir apoyando la realización de obras sociales, definir explícitamente la relación entre representación comunitaria y organizaciones de base referente a las responsabilidades para el mantenimiento y la posible extensión futura de las obras;
• la provisión de acceso al financiamiento debe (re)considerar su nexo con la demanda rural y apoyar también iniciativas microfinancieras más arraigadas en las comunidades rurales; el instrumento de un seguro climático merece ser apoyado con miras a contribuir a una modalidad aplicable a nivel nacional (más bien que un servicio exclusivamente a clientes del proyecto mientras esté en la zona ⁶),
• en materia de seguridad alimentaria, se recomienda invertir en el diseño de un programa con perspectivas de mejoramiento a mediano y largo más bien que a corto plazo, ⁷ explorando además la posibilidad de combinarlo con programas de subsidio del Gobierno ⁸.
• Con relación al intercambio de conocimientos la evaluación recomienda completar la sistematización de  las experiencias de PROPESUR y difundirlas e intercambiarlas con actores especializados (ONG, actores públicos, proyectos) para consolidar buenas prácticas y lecciones aprendidas.

---