Нейросеть для поиска фото, которая работает без интернета
С нейросетью снимок можно найти по описанию, например «собака бежит по пляжу», без тегов и без названий файлов. Многие сервисы делают это в облаке, и фотографии сначала приходится загружать к ним на серверы. Seekframe запускает нейросеть на Neural Engine вашего Mac: она ищет по снимкам и видео там, где они лежат, и ничего никуда не отправляет.
Обновлено
Как нейросеть ищет по фотографиям
Модель обучена на изображениях и текстах одновременно. Каждую фотографию и каждую сцену видео она превращает в набор чисел, который описывает, что там изображено. Запрос она переводит в числа точно так же, и первыми показываются снимки, у которых числа ближе всего к числам запроса.
Самую долгую часть работы Seekframe делает один раз, когда вы добавляете папку: на Mac с M1 Pro это около 113 снимков в секунду и примерно 26 секунд на час видео. Потом каждый поиск сравнивает запрос со всеми фотографиями и сохранёнными кадрами видео (100 000 кадров примерно за 10 мс), поэтому результаты меняются прямо по ходу ввода.
Почему важно, что поиск идёт на Mac
В фотоархиве лежат не только снимки из отпуска, но и фото детей, документы, чеки, скриншоты переписок, скан паспорта. Если нейросеть работает на самом Mac, ничего из этого не попадает к посторонним.
- Ничего не нужно загружать. Снимки остаются в своих папках, поэтому архив на 500 ГБ не придётся сутками загружать в облако, прежде чем по нему искать.
- Аккаунт не нужен. Seekframe не спрашивает, кто вы, и не собирает аналитику.
- Работает без интернета. Модель встроена в приложение, поэтому искать можно с выключенным Wi-Fi.
- Версия из Mac App Store вообще не выходит в сеть. У неё нет на это разрешения.
| Облачный фотосервис | Seekframe | |
|---|---|---|
| Ваши фото | Загружаются в сервис | Остаются на Mac |
| Аккаунт | Нужен | Не нужен |
| Поиск без интернета | Нет | Да |
| Где ищет | Только среди загруженных снимков | В папках и на дисках, которые вы добавили |
Как попробовать на своих снимках
- Откройте Seekframe. При первом запуске короткий урок покажет поиск на встроенном видео, и вы увидите, как всё работает, ещё до того, как добавите свои файлы.
- Нажмите Choose Folder… или перетащите в окно папку с фото и видео.
- Введите описание:
чек из кафе
,кошка спит на диване
,салют над городом
. - Нажмите Return, чтобы открыть лучший результат. Если это видео, оно откроется на секунде, где видна сцена.
Что нейросеть находит, а что нет
Seekframe находит предметы, сцены, цвета, действия и места. Описывать можно по-русски: на нашем тестовом наборе русские запросы вроде «собака бежит по пляжу» или «салют в ночном небе» находят почти те же снимки и видео, что и английские. Можно искать и по картинке: перетащите снимок в окно, и появятся похожие.
Нейросеть не знает, кто изображён на фото, и ищет только по изображению: дату съёмки и геопозицию она не учитывает. В нашей проверке на тестовом наборе из 5000 снимков и нескольких видео в 19 из 20 заранее составленных запросов первым оказался нужный снимок.
Частые вопросы
Для поиска нужен интернет?
Нет. Всё происходит на самом Mac, поэтому в самолёте поиск работает так же, как дома.
Мои фото используются для обучения нейросети?
Нет. Снимки и запросы остаются на вашем Mac, и обучить на них нейросеть никто не может.
На каких Mac работает Seekframe?
На Mac с чипом Apple (M1 и новее) и macOS 14 Sonoma или более поздней версии. Модель использует Neural Engine, который есть в этих чипах.
Mac не будет тормозить?
Seekframe просматривает файлы в фоне, на Neural Engine. В режиме энергосбережения и при сильном нагреве Mac просмотр сам встаёт на паузу, а вы можете приостановить его в любой момент.
Сколько места занимает Seekframe?
Само приложение весит около 374 МБ, и почти всё это — модель. Данные о ваших файлах вместе с миниатюрами занимают около 10 КБ на фотографию или сохранённый кадр видео.
Seekframe на русском?
Интерфейс на английском, испанском и португальском. Описания для поиска можно вводить по-русски.