:: urbansheep (urbansheep) wrote,
:: urbansheep
urbansheep

Categories:
  • Music:

Свёртывание данных для хранения в памяти // человеческий подход

Индексация, на настоящий момент, основывается на таких известных мне базовых механизмах:

  • Построение мнемоники — осмысленного элемента индекса. Как это будет сделано — зависит от конкретной техники — в несколько проходов, через слова, образы или настроения, вкусы, цвета. Основная цель здесь — наполнить пустую, абстрактную информацию смыслом (при определённых условиях можно назвать это преобразование „помещением в контекст“).

  • Мнемоническое якорение — когда осмысленный, но большой кусок подвешивается на короткий, ясный якорь. Это уменьшает объём, отнятый у активной, оперативной памяти за счёт переноса основного массива в память храняющую, а не оперативную.

Дальше начинаются собственно методы свёртывания информационного потока в точку с максимальной плотностью и минимальным объёмом.

  • Фрактальное сжатие — случай, когда блок сжимается до нескольких своих частей, из которых затем его можно восстановить в прежнем виде.. Сами эти части также становятся блоками, и также ужимаются — либо в микроблоки (с последующей привязкой к якорю), либо напрямую в якорь.

  • Векторизация — сокращение избыточности, „сушка“ блока до нескольких тезисов-принципов. Это уже пример сжатия, когда поток уменьшается с потерями, и из него вычищается всё, что было не нужно на момент „оптимизации“.

    После сжатия блок также ложится в якорь, либо (и это важное отличие от фрактального режима) в набор якорей, которые обеспечат затем восстановление комплексной картины из вектора.

    По сути, это механизм, который обеспечивает самую высокую эффективность сжатия, а за счёт возможности применения для развёртывания тезисов разных якорей в разных сочетаниях, позволяет из одного и того же вектора получать разные потоки, играя контекстами. Впрочем, про контексты дальше.

Понятно, что оба метода поддерживают сочетания в разных пропорциях, например, первичное сжатие делать редуцированием до векторов (проще говоря, сделать из миниблока „шотландская овчарка шести лет от родителей-медалистов представлена на конкурсе в Бразилии“ набор „отборная гранулированная собака“), а векторные блоки упростить и связать между собой так, что потом при обратной реконструкции на выходе получатся именно эти вектора, уже из которых мы будем собирать исходный текст, хоть и не дословно-точный.

Обслуживание и работа со свёрнутыми массивами данных и собственно индексами

  • Многопроходная контекстная индексация — тогда идёт разделение якорей по плоскостям контекстов (они же категории), потом — индексация самих контекстов по характеристикам: насыщенность, relevance, глубина/специализация, плотность и разветвлённость связей с другими контекстами, внутренний (неформализуемый) или внешний (часть культуры) контекст, активный (формирует среду) или пассивный (организует среду) и по любым другим осям.

    По сути, это та же фрактально-векторная схема, но на метауровне, когда сворачиваются и оптимизируются не данные сами по себе, а данные о данных.

    Что важно, в действительности до такой сложности редко кто доходит: основной индекс должен быть меньше и проще базы, которую он организует, чтобы быть эффективным. Чем больше индекс, тем неудобнее с ним работать.

    Но вот как только определённая критическая масса якорей получена, то чтобы не выбрасывать лишнее (это означает искуственно ограничивать размеры индекса), начинаются попытки вторичного и третичного индексирования, о чём мы уже и написали — большой индекс якорей дробится на меньшее количество контекстов, а те, в свою очередь рассыпаются по фасетам-характеристикам.

    Другой интересной мелочью является новый уровень знания о наших данных. Если обычный индекс — лишь оглавление, индекс с делением по контекстам/категориям позволяет ускорить поиск, индекс с многоплоскостной и смешанной фасетно-контекстной организацией поначалу окончательно сносит крышу хаотическим нагромождением точек зрения и сечений для нашего массива.

    Но это именно поначалу, потому что затем смешанная система позволяет то, чего было почти невозможно достичь раньше — приблизиться к механизму извлечения из памяти данных по ассоциациям, смутным бликам. Только ассоциации эти уже не естественные, а построенные нами (в виде сочетаний граничных условий), поэтому к решению задачи-то подошли, но не совсем с той стороны...

    Поэтому рассматривать составную систему заменой для ассоциативных рядов и не надо, а вот пользоваться в полный рост гибкой структурой данных, которые многократно связаны перекрестными ссылками — обязательно. Кроме более широкого и плотного охвата знаний и воспоминаний, сами ассоциативные механизмы усиливаются — к естественным связям добавляются множественные новые пути, из-за чего задавая по нескольким контекстам даже нечёткие граничные условия, можно получить очень чёткий список „подозреваемых“ якорей.

Итак, с индексацией мне более-менее понятно. На очереди — искусство якорения, степени силы и яркости якорей, и как бы сформировать ведение потоков так, чтобы якоря ставились правильно и в нужное время и в нужную точку окружающего контекста. В конце меня, подозреваю, ждёт глобальный вопрос „как избавиться от лени“...

[01] [02] /

Subscribe
  • Post a new comment

    Error

    Comments allowed for friends only

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 6 comments