У упражнений на анализ документов было обнаружено несколько недостатков. Так, Бранник и др. (Brannick et a!., 1989) использовали два разных варианта упражнения на анализ документов для измерения одних и тех же аспектов управленческого потенциала, и корреляция результатов оказалась весьма низкой. Этот результат поставил под сомнение валидность суждений (см. главу 4), делающихся на основе упражнений, предназначенных для выявления руководящих способностей. Необходимо также отметить, что чаще всего условия выполнения теста очень отличаются от реальных. На предприятиях многие текущие решения передаются другим сотрудникам устно, тогда как в упражнениях на анализ документов чаще всего требуется изложить ответ письменно. Это может оказать влияние на результаты последующей валидизации упражнения.
С целью решения этой проблемы Сквирс и др. (Squires et al., 1991) провели исследование текущей валидности; они разработали 30-минутную ролевую игру для оценки торговых агентов в сфере телемаркетинга. Кандидаты оценивались по результатам двух входящих и двух исходящих звонков, целью которых было убедить клиента заключить договор на обслуживание устройства. При оценивании внимание уделялось четырем аспектам, а именно умению работать с клиентом, административной грамотности (administrative efficiency), навыкам продаж и результатам продаж. Была обнаружена высокая степень корреляции между независимой оценкой деятельности кандидатов и объективными и субъективными измерениями навыков продаж. После того как 128 кандидатов выполнили упражнение s реальной обстановке, была обнаружена высокая корреляция полученных ими баллов и последующей профессиональной деятельности, что говорит о критериальной валидности данного теста. В целом необходимо стремиться к тому, чтобы при проведении упражнений на анализ документов не просто учитывались устные и письменные ответы, но и обеспечивались условия, максимально приближенные к действительности.