Интуитивное против прагматичного
Все мы нередко сталкиваемся с противоречивыми утверждениями. Часто реакцией здравомыслящих людей осмыслить противоречия, является попытка найти «середину» — как мерилу истины. «Истина — по середине», кому не известна эта фраза? Конечно же, для критически настроенного ума с техническим прошлым, такое утверждение не имеет с реальностью ничего общего. Во первых, истина не может быть по середине, поскольку характеризуется некоей оценкой, а стало быть не размещается в точной позиции. Во вторых, середина не имеет гармонических рядов, и даже музыкальная теория подразумевает, непропорциональное следование интервалов в гармонических значимых соотношениях. В третьих, даже если допустить, что истина не одна, и подразумевает распределение по выборке экспертных мнений претендующих на истинное представление этих оценок, то замеры распределений этих утверждений, скорее всего, будут делимы по медианте.
Сегодня мы попытаемся оттолкнуться от простой предпосылки, или противоречия порождаемого некоторыми способами мышления: мышления художественного или интуитивного и технического, или прагматического. Одним из важных аспектов визуального искусства, является представление об эстетике объекта этого искусства субъектом наблюдающим исследуемый объект. А так же попытаемся опереться на синтетическое определение эстетики как измеряемой величины. Очевидно, это заявление не имеет решения в обоих пространствах мышлений одновременно, хотя бы в силу того, что первое не требует измерений, а второе не работает с неизмеряемыми абстракциями. Тем не менее, мы покажем, что при некотором допущении такой подход возможен и может быть обоснован с обоих позиций.
Мышление интуитивное или художественное не требует описания или представления эстетики количественной величиной или величиной измеряемой объективными инструментальными средствами. Для такого типа мышления достаточно субъективного утверждения в сильно ограниченных градациях оценок: хорошо/плохо; гениально/замечательно/посредственно и т.д.
Мышление техническое или прагматическое стремится описать любой аспект представления объекта или его атрибутов конкретными величинами, измерить объективно и найти по возможности инвариантное решение задачи замера такой величины.
Интуитивно понятно: средне-статистической восприятие будет иметь координату в одной из позиций отрезка «интуитивно»-«прагматично» и асимптотически стремится в одно из состояний. Очевидно, что для машинно реализуемых алгоритмов точка «прагматично» представляется естественным выбором. Вот её и возьмем за основу разбора нашего подхода: поиска величины объясняющей измерение интуитивно понятного эстетического представления визуальных объектов, к которым относятся также цифровые изображения создаваемые носителем мышления в точке «интуитивно».
Следствие определения вариативности
Если мы еще раз посмотрим на представление цвета в пространстве HSB (которое всего лишь упрощает восприятие, нежели если мы попытаемся представить тоже самое в 3D-проекции RGB-пространства), то заметим одну интересную особенность: тело HSB имеет явные точки схождения в зависимости от насыщенности цвета и его яркости. При этом мы не забываем, что тело это представлено дискретными значениями интенсивностей по каждому из каналов количество которых ограничено точностью квантования (8bit,24,32 и т.д.):
Схождение по насыщенности изменяет набор возможных вариантов представления цвета для выбранного диапазона квантованияСвойство сходимости интенсивностей так же изменяет количество возможных представлений цвета
Если на данном этапе опустить тот факт, что сходимость нелинейна по цвету и интенсивности, то можно сделать предположение, что функция вариативности имеет явную зависимость от совокупной степени насыщенности и яркости изображения. Нетрудно предположить, что вариативность изображения имеет максимум в некоторых точках контраста и насыщенности. Самое интересное в этом следствии будет то, что среднестатистические изображения полученные современными фото-фиксирующими приборами, а так же фотографии полученные путем обработки в фото-редакторах, в большинстве случаев будет попадать в зону сниженной вариативности, что оставляет нам некоторый простор для дополнительной цветокоррекции повышающей общую информационную насыщенность изображения.
Таким образом: меняя насыщенность и контраст мы можем управлять вариативностью изображения, а значит управлять степенью эстетического воздействия на подготовленного наблюдателя. Более того, в большинстве случаев повышение контраста и снижение насыщенности приводит к повышению не только вариативности, но и в первую очередь к повышение энтропии изображения.
В целом, в этих знаниях нет ничего нового: фотографы и пользователи часто прибегают к такому приему интуитивно, но теперь мы обосновали, почему такой трюк срабатывает чаще чем не срабатывает. Стоит так же заметить, что даже простое снижение насыщенности может привести к повышению вариативности (информационной емкости изображения).
Энтропия: тезисно и на примерах
Пример 1. Программа Т9. Если в слове будет небольшое количество опечаток, то программа легко распознает слово и предложит его замену. Чем больше опечаток, тем меньше информации о вводимом слове будет у программы. Следовательно, увеличение беспорядка приведёт к увеличению информационной неопределённости и наоборот, чем больше информации, тем меньше неопределённость.
Пример 2. Игральные кости. Выкинуть комбинацию 12 или 2 можно только одним способом: 1 плюс 1 или 6 плюс 6. А максимальным числом способов реализуется число 7 (имеет 6 возможных комбинаций). Непредсказуемость реализации числа семь самая большая в этом случае.
В общем смысле энтропию (S) можно понимать как меру распределения энергии. При низком значении S энергия сконцентрирована, а при высоком — распределена хаотично.
Пример. Н2О (всем известная вода) в своём жидком агрегатном состоянии будет обладать большей энтропией, чем в твёрдом (лёд). Потому что в кристаллическом твёрдом теле каждый атом занимает определённое положение в кристаллической решётке (порядок), а в жидком состоянии у атомов определённых закреплённых положений нет (беспорядок). То есть тело с более жёсткой упорядоченностью атомов имеет более низкое значение энтропии (S). Белый алмаз без примесей обладает самым низким значением S по сравнению с другими кристаллами.
Связь между информацией и неопределённостью.
Пример 1. Молекула находится в сосуде, который имеет левую и правую часть. Если неизвестно, в какой части сосуда находится молекула, то энтропия (S) будет определяться по формуле S = S max = k * lgW, где k -число способов реализации, W- количество частей сосуда. Информация в этом случае будет равна нулю I = I min =0. Если же точно известно, в какой части сосуда находится молекула, то S = S min =k*ln1=0, а I = I max= log 2 W. Следовательно, чем больше информации, тем ниже значение информационной неопределённости.
Пример 2. Чем выше порядок на рабочем столе, тем больше информации можно узнать о вещах, которые на нём находятся. В этом случае упорядоченность предметов снижает энтропию системы «рабочий стол».
Пример 3. Информация о классе больше на уроке, чем на перемене. Энтропия на уроке ниже, так как ученики сидят упорядочено (больше информации о местоположении каждого ученика). А на перемене расположение учеников меняется хаотично, что повышает их энтропию.
Химические реакции и изменение энтропии.
Пример. При реакции щелочного металла с водой выделяется водород. Водород-это газ. Так как молекулы газа движутся хаотично и имеют высокую энтропию, то рассматриваемая реакция происходит с увеличением её значения. То есть энтропия химической системы станет выше.
Энтропия изображения. Вариативность как функция энтропии
Немного отвлечемся от интуитивного аспекта и переключимся на прагматический. В информационной теории хорошо известным методом оценки емкости или избыточности данных является понятие энтропии.
По сути информационная энтропия — это мера неопределенности информации. Понятие энтропии известно с XIX века благодаря работам немецкого физика Рудольфа Клаузиуса, который ввел в 1851 году энтропию для объемов газа и дал формулы её вычисления из параметров газовой среды. Сущность энтропии и её меру открыл в 1871 году другой большой физик Людвиг Больцман. Он рассматривал количество неопределенности молекул газа в объеме замкнутого пространства (замкнутой системы) и решил проблему физического смысла энтропии как меру хаоса молекул в некотором объеме газа. Именно в этом и состоит физический смысл энтропии: чем больше неопределенности в состоянии всех частиц газа или чем они подвижнее в замкнутой системе тем выше энтропия этой системы.
Филип Лекё. Дикость.
Энтропия, как мера количества информации, была определена отцом-основателем теории информации Шенноном расширившим идею Хартли о количестве информации (мера Хартли). По Шеннону, информационная энтропия — математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т.е. она характеризует среднее значение количества информации, приходящееся на один символ. В случае с изображением, энтропию можно описать как количественную меру свето-контрастности изображения представленного в градациях серого. Т.е. энтропия изображения как величина, говорит нам насколько много разных интенсивностей может содержать это изображение. Очевидно, для цветного RGB-изображения поканальная энтропия покажет насколько много разных интенсивностей будет содержать каждый канал изображения, т.е. насколько вариативно будет представление данных в разных его каналах, а среднее значение поканальных энтропий можно интерпретировать как меру информационной наполненности цветного изображения.
С другой стороны такое представление энтропии каналов цветного изображения не говорит нам ничего о количественной мере информации как набора тональных оттенков. Для оценки цветовых тонов можно пересчитать RGB-пространство в удобное для снятия распределения тонов и насыщенностей: Lab, HSB и т.п., и по ним уже рассчитать энтропию тонов и насыщенностей, но в таком случае мы не сможем ничего сказать о количественном влиянии энтропии «физических» каналов изображения на эту его характеристику. Поэтому выберем в качестве цветового пространства все то же RGB, а в качестве «физических» величин описывающих тона цветов и их насыщенность одновременно: значение квадрата модуля вектора интенсивностей в каналах rgb пространства RGB как трехмерного геометрического куба.
Тогда композитная функция поканальных энтропий и энтропии модулей векторов rgb будут описывать количественное представление вариативности не только как набора интенсивностей изображения в пространственном домене, но и будет зависеть от количества его оттенков цветов. Таким образом, финальное выражение вариативности как количественной меры представляющей эстетичность гармонизированной по палитре изображения может быть записана как:
, где
— сумма энтропий каналов гистограммы изображения, — ширина гистограммы — сумма энтропий гистограммы модулей векторов RGB — гистограмма распределения интенсивностей каналов — гистограмма распределения квадрата модуля вектора в RGB-пространстве
Характеристики
Вот некоторые важные свойства энтропии Шеннона:
- ЧАС(Икс)≥{\ Displaystyle Н (Х) \ geq 0}с равенством тогда и только тогда, когда оно существует такое, чтоя{\ displaystyle i}п(Иксзнак равноИкся)знак равно1{\ Displaystyle P (X = x_ {i}) = 1}
- ЧАС(Икс)знак равно-∑япябревнопя≤-∑япябревноqя{\ displaystyle H (X) = — \ sum _ {i} p_ {i} \ log p_ {i} \ leq — \ sum _ {i} p_ {i} \ log q_ {i}}где — любое распределение вероятностей по переменной X (неравенство Гиббса).qя{\ displaystyle q_ {i}}
Демонстрация
Логарифмическая функция, будучи вогнутой, ограничена сверху любой касательной к ней прямой. В частности :
-
- бревно(z)≤z-1{\ Displaystyle \ журнал (г) \ Leq г-1}
Таким образом, мы имеем:
-
- ∑япябревноqяпя≤∑япяqяпя-1знак равно∑яqя-пязнак равно∑яqя-∑япязнак равно1-1знак равно{\ displaystyle \ sum _ {i} p_ {i} \ log {\ frac {q_ {i}} {p_ {i}}} \ leq \ sum _ {i} p_ {i} \ left = \ sum _ {i} \ left = \ sum _ {i} q_ {i} — \ sum _ {i} p_ {i} = 1-1 = 0}
следовательно ;
-
- ∑япябревноqяпя≤{\ displaystyle \ sum _ {я} p_ {i} \ log {\ frac {q_ {i}} {p_ {i}}} \ leq 0}
- ∑япябревноqя≤∑япябревнопязнак равно-ЧАС(Икс){\ displaystyle \ sum _ {i} p_ {i} \ log q_ {i} \ leq \ sum _ {i} p_ {i} \ log p_ {i} = — H (X)}
- ⇒ЧАС(Икс)≤-∑япябревноqя{\ displaystyle \ Rightarrow H (X) \ leq — \ sum _ {i} p_ {i} \ log q_ {i}}
ЧАС(Икс)≤бревно2(нет){\ Displaystyle Н (Х) \ Leq \ журнал _ {2} (п)}. Величина — это максимальная энтропия, соответствующая равномерному распределению, то есть, когда все состояния имеют одинаковую вероятность. Максимальная энтропия увеличивается с увеличением количества возможных состояний (что отражает интуицию о том, что чем больше существует возможных вариантов, тем больше может быть неопределенность). Однако это увеличение энтропии — только одна возможность: энтропия, в которой возможно много состояний, но с очень низкой вероятностью для большинства из них, может быть значительно ниже, чем энтропия орла или решки (бит). Например, если имеется 100 состояний, одно из которых является вероятным на 99%, а другие равным образом маловероятными, энтропия составляет всего 0,14 бита.бревно2(нет){\ Displaystyle \ журнал _ {2} (п)}
Демонстрация
Мы применяем неравенство Гиббса с равномерной вероятностью , которая дает, при условии, что :
qязнак равно1нет{\ displaystyle q_ {i} = 1 / n}∑япязнак равно1{\ Displaystyle \ сумма _ {я} р_ {я} = 1}
-
- ЧАС(Икс)знак равно-∑япябревнопя≤-∑япябревноqязнак равно∑япябревно(нет)знак равнобревно(нет){\ displaystyle H (X) = — \ sum _ {i} p_ {i} \ log p_ {i} \ leq — \ sum _ {i} p_ {i} \ log q_ {i} = \ sum _ {i } p_ {i} \ log (n) = \ log (n)}
- Он :ЧАС(Икс,Y)знак равноЧАС(Y,Икс){\ Displaystyle H (X, Y) = H (Y, X)}
- Это непрерывно
- ЧАС(Икс,Y)знак равноЧАС(Икс)+ЧАС(Y|Икс){\ Displaystyle H (X, Y) = H (X) + H \ left (Y \, | \, X \ right)}
- ЧАС(Икс,Y)≤ЧАС(Икс)+ЧАС(Y){\ Displaystyle Н (Х, Y) \ Leq Н (Х) + ЧАС (Y)} с равенством тогда и только тогда, когда переменные независимы.
- ЧАС(Y|Икс)≤ЧАС(Y){\ Displaystyle Н (Y \, | \, X) \ Leq H (Y)}
- ЧАС(Z|Икс,Y)≤ЧАС(Z|Икс){\ Displaystyle Н (Z \, | \, X, Y) \ Leq H (Z \, | \, X)}
- ЧАС(Икс1,…,Икснет)знак равноЧАС(Икс1)+ЧАС(Икс2|Икс1)+…+ЧАС(Икснет|Икс1,…,Икснет-1){\ Displaystyle H (X_ {1}, \ ldots, X_ {n}) = H (X_ {1}) + H (X_ {2} \, | \, X_ {1}) + \ ldots + H (X_ {n} \, | \, X_ {1}, \ ldots, X_ {n-1})}
- ЧАС(Икс1,…,Икснет)≤∑язнак равно1нетЧАС(Икся){\ Displaystyle H (X_ {1}, \ ldots, X_ {n}) \ leq \ sum _ {i = 1} ^ {n} H (X_ {i})}
Энтропия: определение и история появления термина
История появления термина
Энтропия как определение состояния системы была введена в 1865 году немецким физиком Рудольфом Клаузиусом, чтобы описать способность теплоты превращаться в другие формы энергии, главным образом в механическую. С помощью этого понятия в термодинамике описывают состояние термодинамических систем. Приращение этой величины связано с поступлением тепла в систему и с температурой, при которой это поступление происходит.
Определение термина из Википедии
Этот термин долгое время использовался только в механической теории тепла (термодинамике), для которой оно вводилось. Но со временем это определение перешло в другие области и теории. Существует несколько определений термина «энтропия».
Википедия даёт краткое определение для нескольких областей, в которых этот термин используется:«Энтропия (от др.-греч. ἐντροπία «поворот»,«превращение») — часто употребляемый в естественных и точных науках термин. В статистической физике характеризует вероятность осуществления какого-либо макроскопического состояния. Помимо физики, этот термин широко используется в математике: теории информации и математической статистике».
Простые примеры
Случайная жеребьевка в урне для голосования
Рассмотрим урну, содержащую красный шар, синий шар, желтый шар и зеленый шар. Стреляем мячом наугад. Речь идет о передаче нарисованного цвета. Поскольку ничья не является привилегированной, энтропия максимальна, здесь равна . Если согласовано, что цвета закодированы соответственно 00, 01, 10, 11, информация, содержащаяся в распечатке, фактически соответствует 2 битам.
бревно2(4)знак равно2{\ Displaystyle \ журнал _ {2} (4) = 2}
Но если один цвет представлен больше, чем другие, то энтропия немного уменьшается. Предположим, например, что урна содержит 4 красных, 2 синих, 1 желтый и 1 зеленый шарики. Энтропия тогда 7/4. Действительно,
- ЧАС(Икс)знак равно-48бревно2(48)-28бревно2(28)-18бревно2(18)-18бревно2(18)знак равно-бревно2(12)2-бревно2(14)4-бревно2(18)8-бревно2(18)8знак равнобревно2(2)2+бревно2(4)4+бревно2(8)8+бревно2(8)8знак равно12+24+38+38знак равно74{\ displaystyle {\ begin {align} H (x) & = — {\ frac {4} {8}} \ log _ {2} \ left ({\ frac {4} {8}} \ right) — { \ frac {2} {8}} \ log _ {2} \ left ({\ frac {2} {8}} \ right) — {\ frac {1} {8}} \ log _ {2} \ left ({\ frac {1} {8}} \ right) — {\ frac {1} {8}} \ log _ {2} \ left ({\ frac {1} {8}} \ right) \\ & = — {\ frac {\ log _ {2} (1/2)} {2}} — {\ frac {\ log _ {2} (1/4)} {4}} — {\ frac {\ log _ {2} (1/8)} {8}} — {\ frac {\ log _ {2} (1/8)} {8}} \\ & = {\ frac {\ log _ {2} ( 2)} {2}} + {\ frac {\ log _ {2} (4)} {4}} + {\ frac {\ log _ {2} (8)} {8}} + {\ frac { \ log _ {2} (8)} {8}} \\ & = 1/2 + 2/4 + 3/8 + 3/8 = 7/4 \ end {выровнено}}}
Если цвета закодированы соответственно 0 для красного, 10 для синего, 110 для желтого и 111 для зеленого, то информация о нарисованном цвете занимает 1 бит каждую секунду, 2 бита каждый четвертый раз и 3 бита каждые четыре раза, или среднее значение 7/4 бит, соответствующее вычисленной энтропии.
Энтропия текста
Рассмотрим текст, состоящий из строки букв и пробелов, то есть 27 символов. Если эти символы одинаково вероятны , энтропия, связанная с каждым символом, равна , что означает, что для передачи символа требуется от 4 до 5 бит. Но если текст выражен на естественном языке, таком как французский, поскольку частота некоторых символов не очень важна (например, ‘w’), в то время как другие очень распространены (например: ‘e’), энтропия каждого символа не так уж и высока
Принимая во внимание частоту каждого символа, оценка, сделанная Шенноном для английского языка, дает значение энтропии около 4,03.
бревно2(27)знак равно4,75…{\ displaystyle \ log _ {2} (27) = 4 {,} 75 \ ldots}
Энтропия на самом деле даже ниже, потому что есть корреляции между персонажем и этим, или даже теми, которые ему предшествуют. Были проведены эксперименты для эмпирической оценки этой энтропии. Например, у A есть текст, и он просит B угадать его по буквам (включая пробелы). Если B правильно угадывает букву, мы считаем 1, а если B ошибается, мы считаем 4,75 (что соответствует энтропии равновероятного символа, указанной выше). Таким образом, экспериментально мы получаем энтропию 1,93 бита на букву.
Наконец, закон Ципфа (эмпирический) приводит к рассмотрению того же порядка, на этот раз в отношении слов. Согласно работе 1955 года « Знание электроники», буква на данном языке на практике представляет 1,1 бит-символа (терминология, используемая в этой работе). Эта избыточность объясняет легкость, с которой мы можем взломать несколько шифров средней сложности, если у нас есть их алгоритм, даже не зная ключа шифрования. Это также то, что позволяет найти содержание устного или письменного текста, большая часть которого изменена по той или иной причине.
Практические упражнения по вычислению вариативности изображения
Для иллюстрации описанного метода вычисления вариативности, а также демонстрации того как можно воспользоваться следствием его определения, будем использовать фреймворк IMProcessing. Скачать готовый проект для сборки приложения можно из репозитория ImageMetalling. Основная идея упражнения будет состоять в проверке вышеописанного предположения: повышая контраст и снижая насыщенность мы повысим вариативность. Дополнительно добавим в наше приложение слой предварительно корректирующий цветовой баланс, как мы покажем на этом примере — предварительное выравнивание по доминантному цвету, также повышает общую вариативность.
Вычисление энтропии уже реализовано в классе IMPHistogram:
public extension IMPHistogram { public func entropy(channel index:ChannelNo) -> Float{ var e:Float = 0 let sum = binCount(index) for var i = 0; i < size; i++ { let Hc = self if Hc > 0 { e += -(Hc/sum) * log2((Hc/sum)); } } return e } }
Нам надо добавить небольшое расширение добавляющее методы вычисления средней энтропии и вариативности. Гистограмму модулей вектора rgb вычислим модифицировав ядро вычисления обычной гистограммы заменив значение канала Y на значение модуля. Сам модулю нормализуем к 1.
Код ядра:
kernel void kernel_variabilityPartial( texture2d<float, access::sample> inTexture ], device IMPHistogramBuffer *outArray ], constant uint &channels ], constant IMPCropRegion &regionIn ], constant float &scale ], uint tid `thread_index_in_threadgroup`, uint2 groupid `threadgroup_position_in_grid`, uint2 groupSize`threadgroups_per_grid` ) { threadgroup atomic_int temp; uint w = uint(float(inTexture.get_width())*scale)/groupSize.x; uint h = uint(float(inTexture.get_height())*scale); uint size = w*h; uint offset = kIMP_HistogramSize; for (uint i=0; i<channels; i++){ atomic_store_explicit(&(temp),0,memory_order_relaxed); } threadgroup_barrier(mem_flags::mem_threadgroup); for (uint i=0; i<size; i+=offset){ uint j = i+tid; uint2 gid(j%w+groupid.x*w,j/w); uint4 rgby = IMProcessing::channel_binIndex(inTexture,regionIn,scale,gid); // // Заменяем канал яркости гистограммы на квадратичное расстояние вектора RGB // который описывает // rgby.y = uint(length_squared(float3(rgby.rgb))/3); for (uint c=0; c<channels; c++){ atomic_fetch_add_explicit(&(temp]), 1, memory_order_relaxed); } } threadgroup_barrier(mem_flags::mem_threadgroup); for (uint i=0; i<channels; i++){ outArray.channels=atomic_load_explicit(&(temp), memory_order_relaxed); } }
Код расширения класса IMPHistogram:
// // Расчет цветоконтрастной вариативности изображения по гистограмме // extension IMPHistogram { func variability() -> Float { var e:Float = 0 for i in 0..<channels.count { e += entropy(channel: IMPHistogram.ChannelNo(rawValue: i)!) } return e / channels.count.float / log2(size.float) * 100 } }
Значение вариативности нормализуем к 100. Минимальное значение может быть 0, максимальное 100. На практике диапазон будет находится приблизительно между 60 и 95.
Код приложения можно посмотреть открыв проект. В результате сборки проект получим приложение позволяющие менять насыщенность, менять контраст и расчитывать вариативность источника и результата:
Последовательно: оригинал, повышение насыщенности, снижение, повышение контраста, поиск максимума вариативности. Как можно заметить, простое снижение насыщенности добавляет вариативности не только в цифрах, но и хорошо заметно глазом.Последовательно: оригинал, повышение насыщенности, повышение контраста и применение авто-цветокоррекции, поиск максимума вариативности, снижение насыщенности.Обработанная фотография изначально имеющая высокую, для такого типа композиций, вариативность. Добавление насыщенности незначительно повышает вариативность, но при дальнейшем увеличении начинает её снижать. Работа с контрастностью и коррекцией по доминантному цвету, тем не менее, добавляет вариативности.Простое повышение вариативности на базе авто-цветокоррекции по доминанте, усиление контрастности и снижение насыщенности.Более сложная обработка может привести к еще большему усилению, но в основе все равно остается: снижение насыщенности и повышение контрастности.
Исторический
В начале 1940-х годов в телекоммуникациях доминировал аналоговый режим . Звуки и изображения были преобразованы в электрические сигналы, амплитуда и / или частота которых являются непрерывными функциями входного сигнала. Шум, добавленный во время передачи, привел к ухудшению качества принимаемого сигнала. Архетипом этого типа шума является шипение для радио и снег для телевидения. Сегодня сигналы также кодируются в цифровой форме . Шум, добавленный во время передачи, приведет к ошибке в передаваемых цифровых данных, проявляющейся, например, в появлении аберрантных пикселей на телевизионном изображении. В обоих случаях желательно, с одной стороны, передать максимальный объем данных за минимальное время по заданному каналу передачи, с другой стороны, желательно иметь возможность корректировать изменения, вызванные шумом, в пределах заданного предела.
В 1948 году Клод Шеннон, инженер-электрик из Bell Laboratories , математически формализовал статистическую природу «потерянной информации» в сигналах телефонной линии. Для этого он разработал общую концепцию информационной энтропии, фундаментальную в теории информации, которая позволила ему оценить максимальный объем информации, который может быть передан по заданному каналу. Он также показал, что, используя адекватную стратегию цифрового кодирования, можно передавать информацию так, чтобы получатель мог восстановить исходное зашумленное сообщение без потери информации, при условии снижения скорости передачи информации.
Первоначально не похоже, что Шеннон знала о тесной связи между своим новым измерением и предыдущими работами в области термодинамики . Термин энтропия был предложен математиком Джоном фон Нейманом по той причине, что это понятие напоминало понятие, уже известное как энтропия в статистической физике. Он бы добавил, что этот термин, кроме того, был неправильно истолкован, чтобы иметь возможность победить в любых дебатах.
В году Эдвин Томпсон Джейнс продемонстрирует формальную связь, существующую между макроскопической энтропией, введенной Клаузиусом в 1847 году, микроскопической, введенной Гиббсом , и математической энтропией Шеннона. Это открытие было описано Майроном Трибусом как «революция, оставшаяся незамеченной».
Вычисление энтропии источника сообщения дает меру минимума информации, которая должна быть сохранена для представления этих данных без потерь. В общих чертах, в частном случае сжатия файлов в информатике, энтропия указывает минимальное количество бит, которое может достичь сжатый файл. На практике энтропия изображения или звука дополнительно снижается за счет удаления деталей, невидимых для человека, например, при сжатии звука в формате MP3, изображений в формате JPEG или видео в формате MPEG.
Примечания и ссылки
- (in) Клод Шеннон , « Математическая теория коммуникации » , Bell System Technical Journal , вып. полет. 27,Июль и октябрь 1948 г., стр. 379-423 и 623-656
- М. Трибус, Э. К. Макирвин, «Энергия и информация», Scientific American, 224 (сентябрь 1971 г.).
- Ссылка находится в (en) Майрон Трибус ,
- Дидье Дакунья-Кастель, Мари Дюфло, Вероятности и статистика , Т.И., Массон (1982), стр.19
- Коды таковы, что ни один из них не является префиксом другого, поэтому последовательность распечаток денежных переводов может быть однозначно передана получателю.
- Леон Бриллюэн, Наука и теория информации , Masson (1959), под редакцией Габай (1988), стр. 23
- Леон Бриллюэн, Наука и теория информации , Masson (1959), под редакцией Габай (1988), стр. 24
- Измерение зависит от культуры получателя. Фраза вроде «следующий раунд быстро сходится» обеспечит более высокий уровень успеха математикам, чем нематематикам. Точно так же, объясняет Бриллюэн, если мы будем использовать другие очень специализированные словари, такие как медицинский, финансовый, политический и т. Д.
- или его математическое обобщение, закон Мандельброта
- Editions du Tambourinaire, 1955 г.
- (ru) П.-П. Васкес, М. Фейшас, М. Сберт, В. Хайдрих, Выбор точки обзора с использованием энтропии точки обзора , Труды конференции по моделированию и визуализации видения, 273-280, 2001.
Вариативность цвето-контрастности изображения
Продолжая развивать фразировку представленной темы, можно заметить, что обработка изображений или цифровая обработка фотографий (тем более как объектов изобразительного искусства, например), как сугубо прикладная дисциплина, строится на основе математических формулировок, в том числе имеющих вероятностный смысл. Однако, при всем этом, человеческая интуиция и анализ играют ключевую роль при выборе того или иного методов анализа среди прочих. И этот выбор, в первую очередь, совершается на основе субъективной оценки и интуитивного выбора.
Если присмотреться к полотнам лучших мастеров художественной школы мира, или лучшим фотографиям или проектам лучших фотографов, можно заметить некоторое общее свойство: её можно условно назвать как интуитивно воспринимаемая «емкость» работ. При этом суть стилистики в представлении объекта инвариантна относительно восприятия. Сегодня мы не будем разбираться с общим понятием «емкости» или «ценности» произведений искусства, а поговорим об информационной емкости ординарных изображений, получаемые нами, для собственных «эстетических» нужд и попытаемся описать характеристику измеряющую относительную информационную ценность произвольного изображения. Будем считать, что таким образом, мы измеряем количество его «эстетики».
Что бы не погрязнуть в необъятном, в рамках сегодняшнего поста сузим область исследования до границ эстетики цвета изображений. И поговорим о возможностях связанных с некоторыми выводами этого исследования. У Павла Косенко есть замечательный обзор того, как мы можем воспринимать цвет изображения с некоторым интуитивным обоснованием технического аспекта этой проблемы: Что такое хороший цвет? Как следует из предложенной техники анализа цветного изображения, «ценность» изображения мы можем описать его цветовым представлением или его цветовой композиции, т.е. набора «условно совместимых» или гармонизированных по отношению друг к другу цветов. Гармоничность цветового решения мы можем оценить визуально используя наши собственные субъективные представления о цвете, или, например, используя инструмент разлагающий изображение на палитру. Но как сравнить или померять уже гармонизированное по палитре и композиции изображение? Какое из изображений будет более эстетично относительно другого? И как усилить эффект от уже достигнутой гармонизации повысив замеренное?
Для этого мы введем понятие цвето-контрастной вариативности изображения или просто вариативности. Под ней будем понимать сколько различных тонально-яркостных оттенков цветов присутствует на изображении. Это не значит, конечно, что все цвета присутствующие в природе и одновременно запечатленные в изображении повысят его художественную ценность. Как отмечалось выше, речь идет об уже гармонизированной в смысле цветовой композиции картинке.
1 ответ
Лучший ответ
Подлежит редактированию: Некоторая, возможно, полезная информация.
На основе документа, размещенного в комментарии, связанном с анализом текстуры. Чтобы найти энергию по горизонтали и вертикали для изображения, статистику можно извлечь из GLCM (матрицы совпадения уровней серого), в частности из свойства . Направление ближайшего соседа / значения для проверки между отношениями. Я бы рекомендовал более подробно изучить все свойства этих функций из-за моих ограниченных знаний / опыта их использования.
Направление / смещение — это вектор, определяемый как:
Предисловие:
Энтропия для изображений и строк обычно определяется в следующей форме:
Где — вероятность энтропии для данной интенсивности пикселя , а — энтропия для сигнала / изображения. Вероятность — это частота интенсивности пикселей / количество пикселей. Примером этого может быть:
Количество пикселей = 8
Интенсивность пикселей: 20 → частота = → вероятность = → член энтропии = — () × log2 () Интенсивность пикселей: 80 → Частота = → Вероятность = → Срок энтропии = — () × log2 () Интенсивность пикселей: 120 → Частота = → Вероятность = → Срок энтропии = — () × log2 () Интенсивность пикселей: 160 → Частота = → Вероятность = → Срок энтропии = — () × log2 ()
Энтропия изображения:
H (s) = + + +
H (s) ≈ 1,811278 (2 бита, необходимые для кодирования изображения на основе исходного кода)
Метод 1. Использование функции
Функция возвращает энтропию изображения и устанавливает нижнюю границу количества битов, необходимых для кодирования изображения. Точнее .
Метод 2: Расчет с использованием циклов
Использует цикл для перебора всех уникальных яркостей пикселей. Подсчитывает вхождения, используя условно заданную логическую матрицу и взяв сумму этой матрицы. Затем вероятность находят путем деления вхождений на количество пикселей. Затем берется вероятности и добавляется к переменной , которая будет накапливать / складывать все члены энтропии, соответствующие каждой конкретной вероятности.
Запуск с использованием MATLAB R2019b
MichaelTr7
28 Окт 2020 в 07:06
Заключение
Как видно из приведенных выше примеров, наше предположение о том что эстетику можно замерить объективно — оправдалась. Мы можем утверждать, что мера вариативности как композитная функция энтропии описывающая информационную ценность изображения имеет вполне практический смысл как величина пригодная для измерения относительной эстетичности конкретных изображений. Используя её, как инструмент для управления адаптивной фильтрацией, можно конструировать фильтры с желаемыми характеристиками воздействия на степень контраста и насыщенности финального изображения в соответствие с представлениями об эстетики цвета конструктора таких фильтров, или как оценку качества используемого фильтра, если конечная задача такого фильтра повышение вариативности изображения.
Авторы блога не преследуют задачи быть предельно корректным, но если заметили явную ашипку, если написали явную глупость, если что-то не понятно: комментируйте или пишите на: imagemetalling gmail.com.