Магия чисел

Шо, опять магия? laugh

Часто анализируя большие массивы данных, а особенно данных с присущим им нестабильностям, волей-неволей задумываешься “Чо же тут вАще такое я вижу?”. Никогда не задавали себе этот вопрос? Я вот регулярно его себе задаю. И сегодня попробую вам выдать некоторые простые методики по обработке данных.

Начнем с того, откуда растут ноги. То что растут они из жопы, это очевидно, но постараемся оценить ее размер. Вот к примеру вы что-то самоотверженно измерили, как в прошлом материале стояла задача вычислить 3 точки для расчёта. Тут вы расчехлили свой стенд, протерли пыль, загрузили Raspberry Pi и получили массив данных 10 000 точек, протяженностью 5.5 часа, вот такой:

Но нам-то нужна всего одна точка, так какую-же из них выбрать? Ведь каждая из них, это показание вашего прибора в определенный момент времени, и все они это ваше измерение.

Первое что приходит на ум – высчитать среднее значение. И эта мысль не всегда верна. Проблема в том, что существует много разных видов статистических усреднений, основных из них по сути три “среднее арифметическое”, “медиана”, “мода”. И все они очень разные crazy

Если плотность значений(частоту повторения того или иного значения) считываемых с прибора представить в виде графика, то разница между этими стат. усреднениями будет видна.

Среднее арифметическое – его знают все, суммируем температуру по больнице, делим на количество пациентов, и получаем некую среднюю точку.  У данного метода есть две проблемы:

  • Если у кого-то из пациентов в ходе измерения лопнул градусник, и мы получили значение температуры стремящееся в бесконечность, то и средняя температура так-же будет стремится в бесконечность.
  • Если какой-то небольшой процент градусников неисправен, он будет вносить серьезную погрешность в средний результат.

Ровно то-же самое часто происходит при измерении электрических параметров. Скажем ударили вы по столу в процессе измерений, на графике образовался пик, который сместил среднее в нежелательную сторону.

Медиана – более позитивная штука, это значение находящееся равно-удаленно от двух равных половин набора данных. В некоторых странах даже считается, что медиана более адекватна чем среднее. Она меньше реагирует на случайные всплески значений, хотя и надо признать такая реакция у нее все-же есть. Лишь малый процент данных при обработке массива по медиане теряется, но главный положительный момент – влияние редких и сильно удаленных точек от середины в значительной степени ослабляется.

Мода – по сути эта функция ищет экстремум графика плотности, выдавая в качестве ответа только самое часто встречаемое значение в массиве данных. Обладает огромным разрушительным действием и очень опасна crazy Как пример, применив ее к набору данных выше, мы можем получить любое случайное число из этого массива, потому-что визуально зон резко-повешенной плотности значений там не наблюдается. Но если “исследователь” строго задался задачей поиска точки экстремума графика плотности, она очень полезна.

Результат обработки массива по этим трем функциям:

  • Среднее: 1,9000382E-05
  • Медиана: 1,9000380E-05
  • Мода: 1,9000370E-05

Массив практически равномерен, по этому среднее и медиана очень близки, а вот мода куда-то отскочила…. вот гадина! laugh Что в принципе и следовало доказать.

Для продолжения чтения рекомендую посмотреть(или пересмотреть) фильм “Игры разума” 2001-го года, чтобы проникнутся атмосферой того что сейчас будет происходить.

Зависимости и тренды

Самое интересное начинается, если задумываться о природе тех или иных нестабильностей или шумов. Это я-бы сказал самое интересное во всех моих экспериментах, и именно поиск причин нестабильности и их как таковых. Все это требует все-те горы лаб. оборудования которые представлены в соответствующем разделе бложика. Поскольку просто “что-то измерить” это не интересно… интересно добраться до самого дна измеряемой величины и определить ее параметры.

Как в примере выше, мы видим что ток через меру куда-то стремительно уменьшается. Встает несколько вопросов: насколько? куда? почему? обратим ли этот процесс? а если он продолжится мера въебет?…. и т.п.

На вопросы “куда она плывет и насколько быстро?” зачастую отвечают функции построения трендов:

В данном случае тренд простой и имеет линейную характеристику выражаемую формулой:

y = -3,291717E-14x + 1,900056E-05

Где первый аргумент это коэффициент скорости, а второй точка начала отсчета.

Зная что один X равен времени ровно 2 секунды, можно вычислить временную характеристику тренда в относительной величине:

1 / ( 1,900056E-05 / -3,291717E-14 ) = -1,73243E-09

-1,73243E-09 * 1E6 = -0,001732432 ppm/на отсчет

-0,001732432 / 2 сек = -0,000866216 ppm/сек

Кажется сначала, что величина пренебрежимо мала, но это не так. Если ее экстраполировать на интервал в 1 сутки:

-0,000866216 * 86400 = -74,8 ppm/день

А это уже весьма большое значение, превышающее допуск этой меры. Ок, мы нашли некоторый тренд, выяснили его направление, его скорость -74,8 ppm/день, и она очень высокая. И тут-же понимаем, что где-то здесь кроется проблема, этого не может быть, т.к. за 39 лет мера не вышла из своего допуска, а измерение нам говорит, что менее через сутки она полностью въебет!!! ААААА палундра! срочно все выключаем и начинаем думать!!! Параллельно пересматривая “игры разума”…. И начинаем искать связи и зависимости!

Что может повлиять на результат такого измерения:

  • Нестабильность напряжения питания меры.
  • Нестабильность измерителя тока.
  • Нестабильность температуры меры.
  • Самонагрев катушки.
  • Эффекты старения.
  • Скорость ветра на марсе.

Самый простой способ нахождения проблемы – исключить влияющие факторы методом исключения и экспериментом.

  • Нестабильность питания я обычно предпочитаю не исключать, а компенсировать ее математически измеряя ее в процессе эксперимента.
  • Нестабильность температуры уберем с помощью термокамеры.
  • Самонагрев если прикинуть, (190 В / 10 МОм) * 190 В = 3.6 мВт на 2 килограмма массы меры, пренебрежимо мал с учетом активной конвекции в термобоксе.

У меня закралось сомнение, что всему виной стрессовые факторы, такие как всплески температуры и протекание тока через катушку. Если исключить все доступные факторы и провести стресс тест, это можно попробовать доказать.

Получается простой эксперимент: ставим катушку в термобокс, контролируем напряжение питания пересчитывая его и ток в сопротивление, измеряем начальное сопротивление на маленьком напряжении 10В, затем устраиваем стресс катушке, обеспечивая бросок температуры и длительную подачу напряжения 510В на катушку, сразу после этого возвращаем начальные условия и проверяем есть-ли эффект релаксации.

  • Начальные условия в точке 0: температура воздуха 20°C, напряжение питания 10 В.
  • На точке 6000 напряжение было увеличено до 510В а по температуре был эмитирован всплеск.
  • На точке 15000 напряжение и температура возвращены к начальным условиям 20°C и 10 В.

Поскольку стрессу подвергалась только мера, а не приборы измеряющие ток и напряжение, то график наглядно показывает что стрессовые условия, даже не смотря на то, что они в рамках рабочих характеристик катушки – негативно влияют на ее характеристики. При снятии стрессовых условий требуется более 16 часов релаксации(один отсчет по оси X=2 секунды).

Так-же видно, что датчик внутри катушки смог зафиксировать самонагрев на +0.11°C(хвала датчикам TI TMP117) внутреннего пространства меры. Это видно по спаду температуры в точке 15000, когда тестовое напряжение резко упало с 510 до 10 вольт. Не удивительно, ведь в этом эксперименте тепловыделение на мере составило уже 26 мВт.

Повторение эксперимента показывает, что в зависимости от величины и комбинации стрессовых факторов, скорость дрейфа сопротивления, его направление и время релаксации может меняться.

Из этого простого эксперимента я делаю вывод, что для точных измерений эти катушки(Р4013, Р4023, Р4033) не желательно эксплуатировать на высоких тестовых напряжениях и подвергать их стрессам. А перед и после измерений желательно  релаксировать их 1-2-е суток. А то, что на катушку даны данные по номинальному напряжению 550В и придельному 1500В, к этому стоит относится скептически.

Резюме

Мат обработка и крейзи эксперименты – это не только весело, но и порой вылезает такое… что диву даёшься laugh

Короче говоря: экспериментируйте, анализируйте, считайте, ищите зависимости! Я не призываю всем становится экспертами по мат. статистике, но минимальный набор навыков, пусть даже чисто интуитивных, приходится так или иначе получать.

В глубинные проблемы я не вдавался, думаю пока с вас и этого хватит… blush

 

Добавить комментарий