30.09.2019
Evaluación de calidad por expertos o evaluación cualitativa por expertos. Clasificación y características de los métodos expertos.
El mecanismo de elección del consumidor es bastante conservador, ya que, por regla general, se basa en utilizar únicamente lo que ya ha demostrado su eficacia. Está más centrado en el pasado que en el futuro posible.
En condiciones de mercado, la base para evaluar la calidad de los productos debe ser la utilidad social objetiva del producto, que reflejará su progresividad y conformidad con las características de la nueva forma de vida. Uno de los métodos que puede proporcionar tal evaluación de los productos puede ser el método experto.
Método experto La evaluación de la calidad del producto implica pedir la opinión de expertos.
Experto es un especialista calificado que cumple con los requisitos de competencia profesional y cualimétrica, eficiencia y objetividad, y también está interesado en el trabajo de la comisión de expertos.
El uso de métodos expertos es racional si existe una de dos razones:
· la tarea no puede completarse mediante ningún otro método;
· otros métodos para completar una tarea son menos precisos o requieren más mano de obra.
Los métodos expertos, junto con otros o de forma independiente, pueden utilizarse para:
· clasificaciones de productos;
· determinar la gama de indicadores de calidad del producto;
· determinación de coeficientes de ponderación para indicadores de calidad individuales;
· selección de muestras básicas de productos y determinación de los valores de los indicadores de calidad individuales de estas muestras;
· determinación de indicadores de calidad organoléptica de los productos evaluados;
· determinación de indicadores complejos de la calidad del producto.
La participación de expertos altamente calificados en comisiones de expertos permite obtener una evaluación precisa y reproducible de la calidad de los productos. Los experimentos realizados confirman que con la metodología correcta de evaluación de expertos, el error de los resultados está entre el 5% y el 10% y se puede comparar completamente con los resultados de los métodos instrumentales.
Para evaluar la calidad de los productos mediante el método experto, se crean comisiones de expertos. El procedimiento para la creación, los objetivos y las tareas de dicha comisión se determinan por orden o directiva del jefe del ministerio, departamento, asociación o empresa. El algoritmo general para la creación y funcionamiento de una comisión de expertos, que utiliza métodos de encuesta grupal, se muestra en la Figura 7.1.
El trabajo del grupo de expertos finaliza con el procesamiento estadístico. evaluaciones de expertos, su análisis y la toma de decisiones informadas.
Las principales ventajas de la evaluación grupal de expertos es la posibilidad de un análisis integral de los problemas asociados con la determinación de las características individuales de un producto. La interacción entre expertos aumenta la cantidad de información total en comparación con la información de cada miembro del grupo. Con una evaluación grupal hay menos posibilidades de error en el resultado final del trabajo. En la mayoría de los casos, una evaluación grupal es más confiable que una evaluación individual por parte de cada experto.
El grupo de trabajo prepara y realiza una evaluación experta de la calidad del producto. Su tarea es preparar expertos, ayudar en la evaluación de la calidad, el procesamiento, el análisis, resumir los resultados y establecer una opinión colectiva de los expertos. Comienza sus actividades con la selección de expertos y la formación de un grupo de expertos.
Arroz. 7.1. Algoritmo general de operaciones para la creación y trabajo de una comisión de expertos.
La comisión de expertos consta de dos grupos: el de trabajo y el de expertos.
El grupo de trabajo incluye:
· organizador(también es el presidente de la comisión de expertos) proporciona orientación metodológica al trabajo en todas las etapas. Debe ser un especialista calificado en el campo de la metodología para la evaluación de la calidad del producto, conocer los fundamentos de su producción y los procesos que pueden tener lugar en este producto, durante su producción, transporte y almacenamiento. Crea un grupo de trabajo; elabora un programa de trabajo; participa en una encuesta de expertos; analiza los resultados de cada operación, así como los resultados finales, formula conclusiones y propuestas en base a los resultados de la cata;
· especialista - Se trata de un empleado altamente cualificado de la empresa donde se forma una comisión de expertos. Es deseable que tenga conocimientos universales sobre el producto, tanto en relación con su producción como con sus características de uso. La tarea del especialista es analizar la información recibida de los expertos para ajustar el trabajo futuro de la empresa. programador. Si la evaluación de la calidad del producto o el procesamiento de los resultados se realiza mediante tecnología informática, entonces la tarea principal de este especialista es desarrollar un programa para realizar dicho trabajo y el posterior procesamiento de los resultados obtenidos;
· trabajadores técnicos explicar las disposiciones del cuestionario si no son lo suficientemente claras para los expertos, realizar una encuesta sobre ellas, recibir cuestionarios de los expertos, puede aclarar los resultados, pero no debe expresar su opinión sobre la evaluación de los expertos.
Formación de un grupo de expertos. El organizador y el especialista elaboran una lista de expertos (se tienen en cuenta el cargo oficial, el tiempo y la naturaleza del trabajo y la profesión). El grupo debe incluir especialistas de diferentes áreas de producción y evaluación de la calidad del producto (diseño, tecnología de producción, estética, investigación de calidad).
Se puede formar un grupo de expertos a partir de empleados de una o más empresas que producen (venden) productos de este grupo. En este caso, es necesario tener en cuenta las tendencias y puntos de vista sobre la calidad del producto que prevalecen en una determinada empresa, la posición oficial (subordinación) de los expertos, la creación y mantenimiento de un clima psicológico en el grupo. Es aconsejable dar preferencia a la creación de un grupo de expertos basado en una empresa con la invitación a trabajar de varios especialistas de otras empresas.
El resultado del trabajo de la comisión de expertos depende en gran medida del número de expertos y de su competencia. Seleccionar expertos es una tarea extremadamente difícil. Se debe a que:
· es necesario tener en cuenta las capacidades individuales de los expertos, pero no existe un método fiable para determinarlas;
· las características psicofisiológicas de una persona, de las que depende en gran medida el trabajo de los expertos, no han sido suficientemente estudiadas;
· existe una contradicción entre el deseo de reducir el coste del examen utilizando un número limitado de expertos para evaluar la calidad de una amplia gama de productos y el deseo de aumentar la precisión y fiabilidad de la evaluación de los expertos.
Según G.G. Azgaldov y E.P. Reichman, la competencia de los expertos está determinada por 4 grupos de propiedades (Fig. 7.2).
Entrenamiento profesional proporciona conocimiento de diversos aspectos del diseño y producción de productos, requisitos del consumidor, condiciones y naturaleza de uso (operación).
cualimétrico la formación garantiza que el experto comprenda claramente los principios y métodos de evaluación de la calidad del producto, el conocimiento de los métodos para determinar los indicadores de calidad individuales y la capacidad de utilizarlos en el proceso de trabajo práctico (uso de varios tipos de escalas de calificación, capacidad de distinguir un número suficiente de gradaciones de los productos evaluados).
Arroz. 7.2. Indicadores de competencia experta
Interés experto en el trabajo de la comisión de expertos depende de muchos factores:
· fines de examen;
· la naturaleza de las conclusiones;
· características individuales del experto,
· empleo en el trabajo principal;
· la posibilidad de utilizar los resultados de la evaluación de expertos por su cuenta trabajo practico.
Eficiencia experto incluye movilidad y elasticidad de la atención (la capacidad de cambiar rápidamente la atención de un indicador a otro); calma; eficiencia; validez de las conclusiones; contacto (capacidad para trabajar con personas en situaciones de conflicto); motivación de la evaluación dada.
Objetividad experto radica en el hecho de que saca conclusiones basadas en el nivel real de calidad de los productos evaluados y no se guía por otras opiniones.
Métodos para evaluar la competencia de los expertos. dividido en 5 grupos: heurístico, estadístico, de prueba, documental y combinado.
Heurístico(del griego heurisko - busco, abro) la valoración del experto se basa en la valoración de las personas que le rodean o en la autoestima. Existen los siguientes tipos de evaluaciones heurísticas: autoevaluación, evaluación mutua, evaluación en grupo de trabajo.
Autoestima Es un método en el que el propio experto evalúa su propia competencia. Se ha establecido que cuanto mayor sea el valor medio de la autoevaluación de los miembros del grupo de expertos, mayor será la fiabilidad de la valoración media de los expertos. Mientras tanto, hay que tener en cuenta que los resultados de la autoevaluación son casi siempre subjetivos, lo que constituye una desventaja de este método.
Para aumentar la precisión de los resultados de la autoevaluación, ésta se realiza de forma diferenciada. El indicador de autoevaluación se determina en función de dos coeficientes: la conciencia y el conocimiento de los productos evaluados y el razonamiento de la propia evaluación. TG Rodnina y G.O. Vooks propone determinar el conocimiento y la conciencia del experto sobre los productos evaluados mediante el “Cuestionario de autoevaluación” (Apéndice A). En el cuestionario, el experto señala la regularidad de su conocimiento de las fuentes de información, así como el grado de familiaridad con los productos evaluados. La autoestima se calcula mediante la fórmula:
K mismo = En esp I ex,
donde K es el coeficiente de autoestima del experto;
En ex – el peso de los indicadores de conciencia y conocimiento;
I ex es una valoración que depende del grado de conciencia.
En el Apéndice B se da un ejemplo del cálculo de K.
Evaluación mutua– se trata de una evaluación heurística de un experto, realizada por otros expertos; debería reducir la subjetividad de la autoevaluación de cada experto. Se sabe que existe una relación entre la competencia de un experto y la calificación media que recibió de sus compañeros. La esencia de este tipo de evaluación es que cada miembro del grupo de expertos evalúa a todos los demás expertos y luego se calcula la evaluación promedio de cada experto.
Desventajas de la evaluación mutua:
· es posible que los expertos no se conozcan lo suficiente entre sí;
· los resultados de la evaluación pueden verse influenciados por gustos o disgustos mutuos;
· diferentes expertos pueden tener diferentes percepciones del concepto de “competencia experta”;
· utilizar la evaluación mutua sólo en aquellas comisiones donde los expertos se conocen bien;
· Realizar encuestas anónimas;
· explique que los resultados de la encuesta solo se utilizarán para ajustar las calificaciones de los productos.
Evaluación de expertos grupo de trabajo Es una evaluación heurística que debe dar una descripción cuantitativa del interés del experto en la evaluación pericial y su atención durante el proceso de encuesta. La evaluación la realizan analistas especializados que realizan una encuesta entre expertos después de una evaluación experta del producto. Al mismo tiempo, evalúan la actitud de los expertos ante el examen, así como su actividad en la discusión de los resultados. En la mayoría de los casos, se recomienda utilizar una puntuación de 10 puntos para dicha evaluación.
Evaluación estadística. – se trata de una valoración obtenida tras el procesamiento estadístico de opiniones de expertos sobre el objeto de valoración. Estas estimaciones se utilizan para reducir los errores que surgen durante las evaluaciones de expertos. La necesidad de un procesamiento estadístico de los resultados de los exámenes se debe al hecho de que, a diferencia de las mediciones que se realizan con medios técnicos y se basan en la comparación de cantidades desconocidas con cantidades conocidas, con los métodos expertos a menudo no existe una cantidad conocida. Además, la precisión de las valoraciones de los expertos se ve influida por muchos factores objetivos y subjetivos, lo que da lugar a errores sistemáticos o aleatorios.
Un error sistemático es un error que se repite constantemente en el proceso. esta definición. El principal motivo de su aparición es la información insuficiente o inexacta de los expertos. Se puede reducir familiarizando a los expertos con Información necesaria antes del inicio de los trabajos de la comisión de expertos. El error sistemático puede determinarse por la desviación de la valoración de cada perito del valor medio obtenido en la comisión de peritos.
Un error aleatorio depende de las características psicofisiológicas del experto (serenidad, atención, confianza en la propia justicia). Disminuye si el experto participa con frecuencia en el trabajo de comisiones de expertos y tiene experiencia práctica.
Evaluación de la objetividad del experto.- se trata de una evaluación de la capacidad del experto para evaluar involuntariamente una muestra específica de un producto. Esta es una característica muy importante de la competencia del experto, que afecta significativamente la precisión de los resultados de la evaluación pericial.
Resultados de las pruebas permiten, a través de pruebas, determinar las características psicofisiológicas de los expertos. Se utilizan para evaluar la objetividad, la cualimetría y la preparación profesional del experto. Las pruebas le permiten evaluar rasgos de personalidad que no se pueden realizar mediante ningún otro método. Desventaja este método Puede considerarse imposible comparar los datos obtenidos mediante el método de prueba con los datos obtenidos utilizando otros métodos objetivos.
Al compilar pruebas, debe cumplir con los siguientes requisitos:
· el perito debe comprender la declaración tarea de prueba y las condiciones a las que cumple su decisión;
· la probabilidad de adivinar aleatoriamente la solución de una tarea debe ser cercana a cero;
· la tarea de prueba debe tener una respuesta exacta;
· es necesario justificar la aproximación de la tarea de prueba y los problemas reales que resuelve el experto al evaluar la calidad del producto.
Evaluación de la formación cualimétrica experto es una evaluación conocimientos teóricos métodos para evaluar los indicadores de calidad del producto y la capacidad de utilizarlos en el trabajo práctico. Esta evaluación se puede realizar mediante evaluación de conocimientos oral o escrita mediante pruebas.
Es algo más difícil comprobar conocimientos como la capacidad de utilizar Varios tipos escalas de calificación, determinar la probabilidad subjetiva, reconocer un número suficiente de gradaciones de indicadores de calidad.
Valoración documental– se trata de una evaluación pericial basada en documentos que confirman su cumplimiento de los requisitos establecidos. Por ejemplo, se puede confirmar la competencia del experto. información general que se dan en el formulario de solicitud: experiencia – copia libro de trabajo; entrenamiento profesional– diploma educación vocacional; formación especial: un certificado o un certificado estándar de entrenamiento especial; formación avanzada – con el correspondiente certificado.
La evaluación documental sólo puede ser un complemento a otros métodos de evaluación de la competencia del perito y no tiene importancia independiente. Esto se debe al hecho de que parte de la información de los documentos duplica otras evaluaciones.
Evaluación combinada Implica el uso de diversos métodos para evaluar la competencia de los expertos. Dado que los diferentes métodos de esta evaluación tienen sus propias ventajas y desventajas, su uso combinado puede mejorar las ventajas y mitigar las desventajas de los métodos individuales.
Preguntas de control y tareas
1. ¿Cuál es la esencia de los métodos de análisis sensorial del consumidor?
2. ¿Qué condiciones se deben crear a la hora de crear comisiones de cata para la valoración de los consumidores?
3. ¿Qué reglas se deben seguir al elaborar un cuestionario de evaluación del consumidor?
4. ¿Cuál es la esencia de los métodos de investigación pareados y triangulares?
5. ¿Cuál es la esencia de los métodos analíticos de análisis sensorial?
6. ¿Con qué finalidad se utiliza con mayor frecuencia el método de dilución?
7. ¿Cuál es la esencia de calificar la calidad de los productos?
8. ¿Qué requisitos se deben observar al desarrollar un sistema de puntos para evaluar la calidad de un producto?
9. ¿Cuál es el propósito de establecer coeficientes de significancia para los indicadores de calidad?
10. ¿Cuál es la esencia del método pericial para evaluar la calidad de los bienes?
11. Nombra las principales etapas y operaciones que se llevan a cabo durante una peritaje.
12. ¿Qué métodos existen para evaluar la competencia de los expertos?
13. Describa los principales métodos para evaluar la competencia de los expertos (heurístico, test, documental).
Las valoraciones de los expertos surgen a menudo en la práctica, por ejemplo, al probar productos alimenticios. En general, son típicos de las encuestas sociológicas, por ejemplo, un gerente de control de calidad realiza una encuesta a los clientes en un supermercado. Cuando se utiliza el método experto, a menudo se utiliza una escala de pedidos para evaluar la calidad. La cuestión de la comparación se resuelve según el principio "mejor es peor", "más es menos". Más información detallada cuántas veces mejor o peor muchas veces no se requiere.
Comparación por pares (los objetos se comparan entre sí por pares). Al construir una escala de orden o la llamada serie clasificada, los expertos utilizan el método comparación por pares. En la pestaña. La Figura 1 muestra un ejemplo de clasificación de seis objetos mediante comparación por pares. Este es el resultado del trabajo de un experto que evaluó los objetos de cierta manera. La preferencia por un objeto sobre otro se indica con 1, la situación opuesta se indica con 0.
Serie clasificada(escala de pedido) para objetos, cuya evaluación comparativa se da en la tabla. 1 se verá así:
Q4 Si utiliza varios expertos, puede obtener un resultado más preciso. Puede utilizar criterios más avanzados, por ejemplo, la ventaja se determina con una puntuación de 1, la peor calidad se determina con una puntuación de -1 y la calidad equivalente se determina con una puntuación de 0. El mecanismo para compilar una serie clasificada sigue siendo el mismo. mismo. Los psicólogos han demostrado que cualquier elección se basa en la comparación por pares (es decir, los productos se eligen comparándolos en pares); sin embargo, la escala de pedidos a menudo se elabora con anticipación (no una serie clasificada) y en ella se fijan puntos de referencia, que se denominan puntos. . Así apareció la escala de doce puntos de intensidad de terremotos MSK - 64, la escala mineralógica de Mohs, la escala de cinco puntos para evaluar conocimientos, puntos en patinaje artístico, etc. La Tabla 2 muestra la escala de dureza mineral de Mohs como ejemplo. Número de objeto Línea de fondo Tabla 1. Clasificación de seis objetos mediante comparación por pares Tabla 2. Escala de Mohs Cada mineral posterior deja un rasguño en el anterior, es decir. es más sólido. Los resultados de medición obtenidos mediante comparación por pares se pueden refinar mediante el método de aproximación sucesiva. Al formar un grupo de expertos, es aconsejable realizar pruebas, evaluaciones mutuas de expertos y comprobar la coherencia de las opiniones. Pruebas Consiste en expertos que resuelven problemas con resultados conocidos por los organizadores de las pruebas, pero desconocidos por los expertos, y prueban, utilizando el criterio de Fisher, la hipótesis de que las evaluaciones de diferentes expertos pertenecen a la misma población general de evaluaciones. La autoevaluación consiste en que cada experto responde a preguntas de un cuestionario especialmente diseñado en un tiempo limitado. Esta prueba se realiza en una computadora y luego se califica. Los expertos pueden evaluarse entre sí, pero esto requiere un ambiente de confianza y experiencia de trabajo conjunto. La coherencia de la opinión de los expertos se puede evaluar mediante el valor del coeficiente de concordancia: Dónde S- la suma de las desviaciones al cuadrado de todas las estimaciones de rango para cada objeto de examen con respecto al valor promedio; El coeficiente de concordancia varía en el rango 0<W.<1, причем 0 - полная несогласованность, 1 - полное единодушие. Es necesario determinar el grado de coherencia en las opiniones de cinco expertos, cuyos resultados se muestran en la Tabla 3. Para determinar el grado de coherencia, se utiliza una medida especial: el coeficiente de concordancia de Kendall (del latín . concordar- poner en línea, organizar). Número de objeto de examen Evaluación de expertos Suma de rangos Desviación del promedio Desviación cuadrada Tabla 3. Datos para evaluar la coherencia de las opiniones de cinco expertos Estimamos la media aritmética del número de rangos: Q promedio = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20. Luego estimamos la suma de las desviaciones al cuadrado de la media: S = 630. Determinamos el valor del coeficiente de concordancia: W. = 12 * 630 / 25 * (343 - 7) = 0,9. ¿Es mucho o poco? Si realizamos los cálculos correspondientes en ESTADÍSTICA, entonces puede obtener la siguiente tabla de resultados: Arroz. 1. Resultados del análisis en STATISTICA De esta tabla se deduce que las diferentes opiniones de expertos en este ejemplo son insignificantes: p<0.00014. Influencia en los resultados del examen de la composición cuantitativa de expertos. A medida que aumenta el número de expertos en el grupo, aumenta la precisión de la medición, lo cual es típico de mediciones repetidas. Número de expertos norte, que garantiza una determinada precisión de medición, se puede establecer conociendo la ley de distribución de opiniones de expertos y el error estándar de estimación máximo permitido Sx El mecanismo de elección del consumidor es bastante conservador, ya que, por regla general, se basa en utilizar únicamente lo que ya ha demostrado su eficacia. Está más centrado en el pasado que en el futuro posible. En condiciones de mercado, la base para evaluar la calidad de los productos debe ser la utilidad social objetiva del producto, que reflejará su progresividad y conformidad con las características de la nueva forma de vida. Uno de los métodos que puede proporcionar tal evaluación de los productos puede ser el método experto. Método experto La evaluación de la calidad del producto implica pedir la opinión de expertos. Experto es un especialista calificado que cumple con los requisitos de competencia profesional y cualimétrica, eficiencia y objetividad, y también está interesado en el trabajo de la comisión de expertos. El uso de métodos expertos es racional si existe una de dos razones: la tarea no puede completarse mediante ningún otro método; Otros métodos para completar una tarea son menos precisos o requieren más mano de obra. Los métodos expertos, junto con otros o de forma independiente, pueden utilizarse para: clasificaciones de productos; determinar la gama de indicadores de calidad del producto; determinar los coeficientes de ponderación de los indicadores de calidad individuales; selección de muestras básicas de productos y determinación de los valores de los indicadores de calidad individuales de estas muestras; determinación de indicadores de calidad organoléptica de los productos evaluados; determinación de indicadores complejos de la calidad del producto. La participación de expertos altamente calificados en comisiones de expertos permite obtener una evaluación precisa y reproducible de la calidad de los productos. Los experimentos realizados confirman que con la metodología correcta de evaluación de expertos, el error de los resultados está entre el 5% y el 10% y se puede comparar completamente con los resultados de los métodos instrumentales. Para evaluar la calidad de los productos mediante el método experto, se crean comisiones de expertos. El procedimiento para la creación, los objetivos y las tareas de dicha comisión se determinan por orden o directiva del jefe del ministerio, departamento, asociación o empresa. El algoritmo general para la creación y funcionamiento de una comisión de expertos, que utiliza métodos de encuesta grupal, se muestra en la Figura 7.1. El trabajo del grupo de expertos finaliza con el procesamiento estadístico de las valoraciones de los expertos, su análisis y la toma de decisiones informadas. Las principales ventajas de la evaluación grupal de expertos es la posibilidad de un análisis integral de los problemas asociados con la determinación de las características individuales de un producto. La interacción entre expertos aumenta la cantidad de información total en comparación con la información de cada miembro del grupo. Con una evaluación grupal hay menos posibilidades de error en el resultado final del trabajo. En la mayoría de los casos, una evaluación grupal es más confiable que una evaluación individual por parte de cada experto. El grupo de trabajo prepara y realiza una evaluación experta de la calidad del producto. Su tarea es preparar expertos, ayudar en la evaluación de la calidad, el procesamiento, el análisis, resumir los resultados y establecer una opinión colectiva de los expertos. Comienza sus actividades con la selección de expertos y la formación de un grupo de expertos. Un experto es un especialista (profesional), cuyas valoraciones y juicios el tomador de decisiones considera útiles para tener en cuenta a la hora de tomar decisiones. Demos algunas explicaciones. Naturalmente, las opiniones de un terapeuta novato y un cardiólogo de fama mundial no son comparables en cuanto al nivel de evaluación del estado del paciente y recomendaciones para su tratamiento en una situación bastante compleja. Sin embargo, si un paciente necesita ayuda de urgencia y por un motivo u otro no se puede invitar a un especialista de alto nivel profesional, la decisión la tomará quien esté cerca, aunque esté menos cualificado. En esta situación, es él quien resulta ser el experto. Así, la formación de la composición de la comisión de expertos depende de: · situación específica de toma de decisiones; · la capacidad de los organizadores del examen para atraer especialistas altamente calificados para el trabajo; · oportunidades para que los especialistas participen en los trabajos de la comisión de expertos. También cabe señalar que en la actualidad no existe una metodología unificada generalmente aceptada para evaluar las cualidades de un experto, por lo que las opiniones sobre el nivel profesional de un especialista a menudo difieren significativamente. En la práctica, quien toma las decisiones se esfuerza por formarse una opinión sobre el nivel profesional del candidato a experto o la confía a quienes tienen a su cargo la organización del examen. Por tanto, ante la falta de capacidades y experiencia en la organización y realización de exámenes, tiene sentido recurrir a los servicios de centros de examen independientes, centros de información y análisis, etc., cuyas principales tareas son analizar la situación, evaluar los objetos de examinar, preparar y evaluar soluciones alternativas. A la hora de evaluar las cualidades de un perito, es necesario tener en cuenta su conocimiento profesional, experiencia y eficacia del trabajo como parte de comisiones de peritos. Hay muchas formas de evaluar las cualidades de un experto, cada una de las cuales puede utilizarse con éxito en un caso particular. Se dividen en tres grupos principales: · a priori; · posteriormente; · prueba. Los métodos a priori se denominan métodos de evaluación de las cualidades de un experto que no utilizan información sobre los resultados de su participación en exámenes anteriores. Los métodos a posteriori se denominan métodos de evaluación de las cualidades de un perito a partir de información sobre los resultados de su participación en exámenes anteriores. Los métodos de prueba son métodos para evaluar las cualidades de un experto que implican la realización de una prueba especial. Métodos a priori para evaluar a un experto. Este grupo incluye, en primer lugar, los métodos de autoevaluación más habituales, cuya esencia es que el propio experto evalúa sus cualidades. Se pueden utilizar los siguientes métodos: · autoestima en una de las escalas de puntos (3, 5, 10 o 100 puntos); · autoevaluación mediante escalas verbales-numéricas, que, junto con los valores numéricos de las gradaciones, contienen su descripción cualitativa; · autoevaluación en una escala verbal, en la que el experto realiza una evaluación verbal de sus conocimientos y experiencia, utilizando gradaciones cualitativas de una escala previamente desarrollada; · autoevaluación mediante el método diferencial, en el que el experto evalúa sus cualidades utilizando dos criterios privados principales: un criterio que caracteriza su familiaridad con las principales fuentes de información en este campo (por ejemplo, revistas especiales nacionales y extranjeras, información sobre patentes, en -información de la casa, etc.); etc.) y un criterio que caracteriza la familiaridad con el objeto de examen (por ejemplo, conocimiento de las características específicas de la industria, una empresa específica, familiaridad con muestras de productos, etc.). En este caso, la autoevaluación integral del perito se calcula mediante la fórmula: A k = ( A y + ß A h)/2, Dónde A k - autoevaluación integral del experto, A y - coeficiente de conciencia (en fracciones de unidad), A z es el coeficiente de familiaridad con el problema, ß es el coeficiente de ponderación. Las cuestiones de medición de indicadores y tipos de escalas se discutirán con más detalle en el siguiente tema. La precisión de los métodos de autoevaluación es algo controvertida. Por un lado, nadie mejor que el propio experto representa la totalidad de conocimientos y experiencias que posee. Por otro lado, una persona comete el mayor error al evaluar sus propias capacidades. Otro grupo de métodos a priori para evaluar las cualidades de un experto incluye métodos de evaluación mutua, cuyo uso supone que los expertos se evalúan entre sí. El más común de ellos es el método de la lista de expertos. El procedimiento para su uso es el siguiente. Cada experto elabora una lista de especialistas que considera competentes en este campo. Luego, basándose en estas listas, se calcula el coeficiente de competencia del experto: la relación entre el número de listas en las que está presente un especialista determinado y el número total de listas elaboradas. Los métodos a priori para evaluar las cualidades de un experto también incluyen el método documental o de cuestionario más común. En él, para evaluar determinadas cualidades de un especialista, se propone utilizar características objetivas que cuenten con evidencia documental, por ejemplo, tales como: experiencia laboral, título académico, título académico, cargo desempeñado, número de publicaciones, índice de citas, etc. Debe tenerse en cuenta que, basándose únicamente en estos factores objetivos, es imposible evaluar adecuadamente la idoneidad y utilidad de la participación de un experto en el trabajo de un grupo de expertos en particular. Métodos de estimación a posteriori. Estos métodos implican el uso de los resultados de su participación en encuestas anteriores a la hora de evaluar las cualidades de un experto. Con su ayuda, hasta cierto punto, se pueden identificar cualidades como el conformismo, el oportunismo y la competencia experta. En particular, para evaluar el nivel de competencia de un especialista, se puede utilizar el método de comparaciones pareadas. Su esencia radica en el hecho de que al experto se le presentan secuencialmente pares de objetos de evaluación comparados y él selecciona de cada par el objeto más preferible desde su punto de vista. Una vez presentados todos los pares, los analistas tienen información sobre las preferencias comparativas del experto con respecto a los objetos que se están evaluando. En este caso, puede surgir una situación en la que, en comparación directa, el primer objeto es preferible al segundo, el segundo es preferible al tercero, pero, al mismo tiempo, el tercer objeto resulta preferible al primero. , es decir. Surge una contradicción obvia. En la práctica real, tales contradicciones (por supuesto, en cadenas de comparación más largas) no ocurren tan raramente. Naturalmente, cuantas menos contradicciones haya en las valoraciones de un experto, más justificada estará su competencia. El método a posteriori también implica evaluar la fiabilidad de los juicios del experto. Como criterio para evaluar dicha confiabilidad, se utiliza el coeficiente de confiabilidad: la frecuencia relativa de los casos en los que el experto atribuyó la mayor probabilidad a eventos confirmados posteriormente. Cuando se utiliza este método, también se calcula el valor medio del coeficiente de fiabilidad de la comisión de expertos y se comparan con él los coeficientes individuales de los expertos. Otro método de evaluación a posteriori es el método de desviación de la estimación del grupo resultante, que se basa en el cálculo del coeficiente de desviación - Co. Aoye = doi / D máximo, Dónde para oi- coeficiente de desviación de los juicios del i-ésimo experto, doi- desviación de la evaluación individual del i-ésimo experto de la evaluación resultante, D max: la desviación máxima posible de la evaluación del experto de la evaluación resultante. Métodos de prueba para evaluar las cualidades de un experto. Su esencia es la ejecución por parte del experto en la materia de alguna tarea previamente preparada. Estos métodos son bastante conocidos porque se utilizan ampliamente para determinar la idoneidad profesional de especialistas en diversos campos de actividad. La ventaja de estos métodos es que permiten no solo establecer si un experto tiene un determinado nivel profesional, sino también identificar las habilidades y experiencia necesarias para una participación productiva en el trabajo de la comisión de expertos. Sin embargo, es necesario recordar que la realización de experimentos de prueba requiere el cumplimiento de las siguientes reglas importantes: · la prueba debe desarrollarse específicamente para objetos específicos de evaluación pericial; · los valores verdaderos de los parámetros evaluados (respuestas correctas) deben ser conocidos por el grupo analítico que realiza la prueba, pero desconocidos para el experto evaluado; · debería desarrollarse una escala para determinar la exactitud de las evaluaciones realizadas por un experto; · la probabilidad de adivinar accidentalmente la estimación verdadera debe ser muy pequeña. El uso de métodos de prueba permite evaluar una cualidad profesional tan importante de un experto como la reproducibilidad de las valoraciones de los expertos. Para ello, se llevan a cabo varios experimentos de prueba, cercanos a las condiciones de la investigación real. En este caso, el intervalo de tiempo entre ellos debe ser suficiente para que el sujeto tenga tiempo de olvidar los resultados del anterior. Luego las estimaciones obtenidas se comparan entre sí. Evaluaciones de expertos más estables (reproducibles) indican tanto su mayor competencia profesional como su mayor idoneidad para participar en la comisión de expertos. OBJETIVOS DE LA LECCIÓN: 1) estudio de métodos de evaluación cuantitativa de la calidad de los expertos al formar un grupo de expertos; 2) el uso de métodos de evaluación estadística de la calidad de los expertos al crear un grupo de expertos diseñado para evaluar la calidad de un producto en particular. 1. DISPOSICIONES GENERALES Una de las cuestiones más importantes que deben resolverse en el proceso de evaluación experta de la calidad del producto es la selección de expertos. Así como en metrología la precisión del resultado de una medición depende de la precisión del instrumento utilizado para realizar esta medición, la objetividad de una evaluación pericial y su precisión dependen principalmente de las calificaciones del experto, su capacidad de pensamiento analítico y generalización sintética. , sobre su perspectiva, erudición, habilidades psicofisiológicas, etc. Actualmente, en la práctica, se utilizan los siguientes métodos para evaluar cuantitativamente la calidad de los expertos: Los más justificados en la actualidad son los métodos estadísticos para evaluar la calidad de los expertos, por lo que los consideraremos con más detalle. Los métodos de evaluación estática incluyen la evaluación de la desviación de la opinión promedio del grupo de expertos Kos y la evaluación de la reproducibilidad del resultado del CVR, que se puede obtener después de procesar los resultados de encuestas especiales que preceden a la operación de formación de un grupo de expertos. El primer método se basa en la premisa de que el verdadero valor del valor (propiedad) determinado por los expertos es el valor de la evaluación promedio del grupo de expertos. Cuanto menor sea la desviación del valor de una evaluación individual asignada por un experto de la evaluación promedio del grupo, mayor será la calidad de este experto, lo que puede tenerse en cuenta asignando a cada experto un "peso" o coeficiente de ponderación correspondiente. En el caso de que un perito determine los valores numéricos de las propiedades tasadas (en puntos, fracciones de unidad o porcentaje), se propone utilizar la distancia entre la serie "promedio" de valores de tasación y la tasación. valores asignados por este perito como valoración del perito. Por ejemplo: en este caso sustantivo, masculino— j=1/2A Ki - Kij donde Ki es el valor promedio del valor i (propiedad); Kij es el valor del i-ésimo valor (propiedad) asignado por el j-ésimo experto; norte El segundo método se basa en la premisa de que la calidad de un experto que se caracteriza por la reproducibilidad de los valores de evaluación asignados puede considerarse alta, es decir, los valores de evaluación del mismo objeto en varias rondas deben ser bastante cercanos. En este caso, podemos hablar de la estabilidad de su opinión. Los métodos para evaluar la calidad de un experto en función de la reproducibilidad del resultado son similares a los métodos para evaluar la desviación de la opinión promedio. Cuando los expertos clasifican las cantidades (propiedades) evaluadas para cuantificar su calidad o consistencia, en la práctica se utiliza con mayor frecuencia el coeficiente de concordancia, que se calcula de la siguiente manera: m2 (n3 - n) - mTj donde Si es la suma de rangos asignados por m expertos al i-ésimo factor; S - valor medio de las sumas de rangos; Las cantidades Si y S están determinadas por las relaciones: Si=Kij; S=Si/n donde j es el número de experto; i es el número del factor que se está evaluando. El valor de Tj se determina a partir de la expresión: Tj= (t3jl – tjl), donde tjl es el número de rangos idénticos del primer tipo en las evaluaciones del j -ésimo experto; Lj es el número de grupos de factores con el mismo rango en las valoraciones del experto j. El coeficiente de concordancia varía de cero a uno, y su valor igual a uno corresponde al total acuerdo de las opiniones de los expertos. Normalmente, la coherencia de las opiniones de los expertos se considera suficiente cuando W >0,5. La coherencia de las opiniones de los expertos puede ser aleatoria o no. El nivel de significancia del coeficiente de concordancia se utiliza para cuantificar el grado de esta aleatoriedad. Este nivel se encuentra en la tabla basada en datos sobre el número de grados de libertad n=1 y el valor 2 (criterio de Pearson). El valor 2 está determinado por la fórmula: mn (n +1) - 1Tj El nivel de significancia del coeficiente de concordancia así determinado da la probabilidad de una coincidencia aleatoria de las opiniones de los expertos, es decir confiabilidad de las evaluaciones. Si la coherencia de las opiniones de los expertos es alta y no aleatoria, entonces este grupo de expertos puede tomarse como base para una evaluación experta de la calidad del producto. Si la coherencia de las opiniones es insuficiente (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов. II Trabajo independiente. Tarea 1. Para un análogo determinado del producto que se está evaluando, realice una evaluación experta de las propiedades ergonómicas de acuerdo con la estructura jerárquica desarrollada de las propiedades de este producto (ver lección práctica No. 2). Determinar los valores numéricos de los indicadores ergonómicos correspondientes, guiándose por la siguiente escala de calificación: Realizar el procesamiento estadístico necesario de los datos obtenidos con el fin de evaluar la calidad de cada experto que participa en el experimento. Se recomienda presentar los resultados de la tarea en forma de la siguiente tabla: Número de calificaciones coincidentes Desviación máxima Tarea 2. Utilizando el método rápido de evaluación experta de la calidad, clasifique una cantidad de productos propuestos (3...5 piezas) similares al producto evaluado, dependiendo de su nivel de calidad, realice el procesamiento estadístico necesario de los datos. obtenidos para evaluar la calidad de cada experto que participa en el experimento. Se recomienda presentar los resultados de la tarea en forma de la siguiente tabla: Desviación máxima Cantidad de desviaciones Número de calificaciones coincidentes Evaluación generalizada (puntuación media)
La influencia de la composición de los expertos en los resultados del examen.
norte- número de expertos;
metro- número de objetos de examen.Ejemplo
