Как проверить точность программы проверки почты до покупки
Оцените программу на аккаунтах с известными исходами. Сравните классификацию, нерешённые проверки и сохранённые результаты, прежде чем доверять заявлениям о точности.
Проверяйте точность программы на небольшой группе аккаунтов с независимо известными ожидаемыми исходами. Включайте не только успешные входы, сохраняйте условия теста и сопоставляйте выгрузку с результатами, показанными приложением.
Так можно оценить важную для вашего процесса часть точности: различает ли программа завершённый доступ, отклонённые данные, необходимые действия владельца и проверки, которые не удалось закончить. Примеры ниже описывают метод оценки, а не результаты теста Mail.
Составьте выборку с известными исходами
Используйте свои аккаунты или те, которыми вам разрешено управлять. Прежде чем записать ожидаемый исход, подтвердите их состояние независимым подходящим способом входа у провайдера. Уже открытая вкладка с выполненным входом не является новой проверкой пароля из вашего файла.
Включите провайдеров из реального списка. Добавьте рабочий аккаунт и, если возможно, аккаунты с независимо установленным требованием проверки личности или блокировкой. Намеренно неверный пароль используйте только в небольшом разрешённом тесте; не вызывайте защиту провайдера многократными попытками.
Запишите подтверждения и время: состояние не обязательно останется прежним. Пароль может измениться, аккаунт — потребовать подтверждения, а провайдер — стать временно недоступным.
Запишите условия проверки
Не меняйте входную выборку при каждом сравнении. Укажите выбранные методы, переход между методами, число потоков, тайм-аут, повторы и настройки соединения. При сравнении двух программ запишите различия, которые невозможно устранить настройками.
Отделяйте аутентификацию от дополнительной работы. Если оцениваете точность проверки входа, сначала сравнивайте исходы входа, а уже потом делайте выводы из необязательных задач.
Полезная запись содержит одну строку на аккаунт: провайдер, ожидаемый исход, время подтверждения, метод программы, полученный статус, исходная ошибка и время проверки. Храните пароли и данные сессий в закрытом доступе; в итоговой оценке не нужно повторять их.
Сравните классификации
Разбирайте каждое несовпадение отдельно. Запись незавершённого входа как Success создаёт ложный успех. Запись транспортной ошибки как Invalid — другая ошибка классификации.
| Известное условие | Что проверить в результате |
|---|---|
| Аутентификация завершается | Подтверждает ли программа завершённый доступ |
| Провайдер отклоняет указанные данные | Фиксируется ли отклонение данных |
| Провайдер требует действия в аккаунте | Остаётся ли это требование видимым |
| Соединение не удаётся завершить | Остаётся ли проверка нерешённой |
В методе Outlook в Mail статус Success требует токена доступа. Это конкретный критерий для ситуации, когда пароль выглядит принятым, но сценарий входа у провайдера не завершается. Наличие cookie не является равноценным критерием успеха.
Отдельно считайте нерешённые проверки
Не улучшайте процент точности, молча исключая сложные проверки. Запишите, по скольким аккаунтам получен окончательный исход и сколько осталось нерешёнными.
Например, в условной выборке из 25 аккаунтов пять проверок завершились тайм-аутом. Эти пять проверок требуют отдельного счётчика нерешённых. Совпадение ожидаемых исходов для оставшихся 20 не доказывает правильной классификации всех 25 аккаунтов.
Отделяйте ошибки классификации от доли завершённых проверок. Важны оба показателя: программа может верно классифицировать завершённые проверки, но оставлять слишком большую для ваших задач часть провайдеров без результата.
Проверьте повторяемость и сохранённые файлы
Повторите небольшую выборку в записанных условиях и сравните результаты по аккаунтам. Прежде чем связывать различия с программой, сопоставьте их с текущим состоянием у провайдера. Сохраняйте прошлые запуски, чтобы сравнение можно было проверить.
В Mail просмотрите локальную History и файлы статусов и ошибок. Убедитесь, что сохранённые строки соответствуют видимым исходам, а технические ошибки отличимы от Invalid.
Используйте эти сведения, решая, подходит ли программа вашему списку. Повторяемая оценка с понятными нерешёнными случаями полезнее громкого заявления о точности без описания выборки, условий и определения Success.
