Нейросеть для поиска фото, которая работает без интернета

С нейросетью снимок можно найти по описанию, например «собака бежит по пляжу», без тегов и без названий файлов. Многие сервисы делают это в облаке, и фотографии сначала приходится загружать к ним на серверы. Seekframe запускает нейросеть на Neural Engine вашего Mac: она ищет по снимкам и видео там, где они лежат, и ничего никуда не отправляет.

Обновлено

Как нейросеть ищет по фотографиям

Модель обучена на изображениях и текстах одновременно. Каждую фотографию и каждую сцену видео она превращает в набор чисел, который описывает, что там изображено. Запрос она переводит в числа точно так же, и первыми показываются снимки, у которых числа ближе всего к числам запроса.

Самую долгую часть работы Seekframe делает один раз, когда вы добавляете папку: на Mac с M1 Pro это около 113 снимков в секунду и примерно 26 секунд на час видео. Потом каждый поиск сравнивает запрос со всеми фотографиями и сохранёнными кадрами видео (100 000 кадров примерно за 10 мс), поэтому результаты меняются прямо по ходу ввода.

Почему важно, что поиск идёт на Mac

В фотоархиве лежат не только снимки из отпуска, но и фото детей, документы, чеки, скриншоты переписок, скан паспорта. Если нейросеть работает на самом Mac, ничего из этого не попадает к посторонним.

Облачный фотосервисSeekframe
Ваши фотоЗагружаются в сервисОстаются на Mac
АккаунтНуженНе нужен
Поиск без интернетаНетДа
Где ищетТолько среди загруженных снимковВ папках и на дисках, которые вы добавили

Как попробовать на своих снимках

  1. Откройте Seekframe. При первом запуске короткий урок покажет поиск на встроенном видео, и вы увидите, как всё работает, ещё до того, как добавите свои файлы.
  2. Нажмите Choose Folder… или перетащите в окно папку с фото и видео.
  3. Введите описание: чек из кафе, кошка спит на диване, салют над городом.
  4. Нажмите Return, чтобы открыть лучший результат. Если это видео, оно откроется на секунде, где видна сцена.

Что нейросеть находит, а что нет

Seekframe находит предметы, сцены, цвета, действия и места. Описывать можно по-русски: на нашем тестовом наборе русские запросы вроде «собака бежит по пляжу» или «салют в ночном небе» находят почти те же снимки и видео, что и английские. Можно искать и по картинке: перетащите снимок в окно, и появятся похожие.

Нейросеть не знает, кто изображён на фото, и ищет только по изображению: дату съёмки и геопозицию она не учитывает. В нашей проверке на тестовом наборе из 5000 снимков и нескольких видео в 19 из 20 заранее составленных запросов первым оказался нужный снимок.

Скачать для Mac — бесплатно

Частые вопросы

Для поиска нужен интернет?

Нет. Всё происходит на самом Mac, поэтому в самолёте поиск работает так же, как дома.

Мои фото используются для обучения нейросети?

Нет. Снимки и запросы остаются на вашем Mac, и обучить на них нейросеть никто не может.

На каких Mac работает Seekframe?

На Mac с чипом Apple (M1 и новее) и macOS 14 Sonoma или более поздней версии. Модель использует Neural Engine, который есть в этих чипах.

Mac не будет тормозить?

Seekframe просматривает файлы в фоне, на Neural Engine. В режиме энергосбережения и при сильном нагреве Mac просмотр сам встаёт на паузу, а вы можете приостановить его в любой момент.

Сколько места занимает Seekframe?

Само приложение весит около 374 МБ, и почти всё это — модель. Данные о ваших файлах вместе с миниатюрами занимают около 10 КБ на фотографию или сохранённый кадр видео.

Seekframe на русском?

Интерфейс на английском, испанском и португальском. Описания для поиска можно вводить по-русски.

Другие статьи