Энтропия - то, как много информации мы не знаем о системе. То есть, это мера неопределенности, причем, она не присуща самой системе, это характеристика нашего знания. Энтропия одной и той же системы будет разной для разных наблюдателей, обладающих разной информацией о ней.
Трактовки смысла
Количество возможных состояний системы
Для понимания энтропии важно разделять микро- и макро- состояния системы (тут возможна
интересная аналогия с вычислительными и управляющими состояниями в автоматном
программировании). Микросостояния - это что-то невидимое и неизвестное, вроде положения и
скорости молекул газа или конкретных выпавших значений на игральных костях. Макросостояния -
это наблюдаемые и известные состояния, вроде температуры и давления газа или общей суммы,
выпавшей в результате броска игральных костей.
Второй закон термодинамики говорит, что для закрытой системы энтропия может только нарастать. Это справедливо, т.к. мы не можем получить новую информацию о закрытой системе, а вот потерять можем. Из-за этой “закрытости” системы мы в целом не можем говорить о применимости второго закона к разрабатываемой нами программной системе, т.к. мы активно участвуем в ней и наше знание о системе может расширяться.
Энтропию можно количественно представить в виде десятичного логарифма от количества возможных для данного макросостояния микросостояний.
Eichenlaub M. Энтропия? Это просто! // Quora [Электронный ресурс]. URL: https://habr.com/ru/post/374681/ (дата обращения: 20.06.2021).
Мера “удивления”
Количественная оценка интуитивно понятного “удивления” может базироваться на следующих предпосылках:
- Если случается что-то, насчет чего мы абсолютно уверены, что это случится, то наше
удивление равно нулю.
S(1) = 0 - Если случается что-то, насчет чего мы абсолютно уверены, что это невозможно, то наше
удивление бесконечно.
S(0) = inf - Удивление аддитивно, то есть
S(PQ) = S(P) + S(Q) - Функция удивления непрерывна.
Из этих четырех предпосылок следует, что формула расчета удивления в целом - это отрицательный десятичный логарифм нашей уверенности в наступлении события. В теории информации такая величина описывает количество новой информации, полученной при наблюдении события. Таким образом, более “удивительные” события дают больше информации. Для рационального агента постоянное “удивление”, то есть получение информации, приближает модель реальности к реальности. Общение удивление информация говорит примерно о том же.
Энтропия с этой точки зрения - это суммарное ожидаемое удивление для всех возможных событий. И в целом, это то же самое, что и в первом пункте, т.к. это соответствует недостающей информации о системе.
Squarishbracket ~ Entropy is expected surprise // Rising Entropy [Электронный ресурс]. URL: https://risingentropy.com/entropy-is-total-expected-surprise/ (дата обращения: 13.10.2023).
Прагматика
- ???