PageSift 
最新リリース · v1.2.2
AI エージェントのための
Web・文書レイヤー
URL、文書、メール、圧縮ファイル、ソースコードを入力し、 クリーンな Markdown または構造化 JSON を出力。セルフホストできる単一の Rust バイナリで、CLI、Firecrawl・Jina Reader API、MCP サーバー、Python・Node.js・Go・Java・C#・Ruby・PHP などのパッケージを備えます。
$ pagesift scrape https://example.com # Markdown を stdout へ $ pagesift scrape report.pdf # PDF、Office、電子書籍、メール… $ pagesift crawl docs.rs --limit 500 # サイト全体、ページごとにファイル一つ $ pagesift mcp # エージェント向け MCP サーバー
約束ではなく実測
公開済みの 1.1 ベンチマークレポートから、各領域で最も強い結果を掲載——プロジェクト README と同じ数字で、方法と出典は完全なレポートにあります。
ページあたりのレイテンシ——低いほど良い
スループット——高いほど良い
ワーカーあたりピークメモリ——低いほど良い
ベンチマークは PageSift 1.1 で測定。xberg 1.3.9 は 2026-11-04 に測定。方法の全文： docs/benchmarks.md · 実サイトクロールのカバレッジ 0.740 対 Crawl4AI 0.529（polite、40 サイト × 60 ページ）。
一本のパイプラインに、あらゆる入力
アーキテクチャ文書にあるリクエストパイプライン：入口は一つのエンジンに集約され、ポリシーとネットワークのガードは取得前に動作し、レンダリングの判断はコンテンツを増やす最も安い経路を選び、すべてのソースが同じ出力に集まります。
できること
六つの動詞が API の全範囲をカバーします——CLI、HTTP API、MCP ツールで同じ操作です。
scrape · クリーンな本文
本文検出と、見出し・リスト・表・コード・数式を保った Markdown。JavaScript のレンダリングは、コンテンツが増える場合に限ります。
crawl · サイト全体
サイトマップ、ページが役に立たなくなった時点で止まるクエリによるフォーカスクロール、トラップ処理、robots.txt、ホストごとの制限。すべてのクロールで WARC を出力します。
map · サイトマップ
予算を使って取得する前にサイトの URL を発見し、そのリストを crawl、batch、extract に渡します。
batch · 複数 URL を一つのジョブに
ジョブ永続化、永続的な webhook、所有者ごとの分離を備えたバッチ取得。API や MCP からジョブのポーリングやキャンセルができます。
monitor · 変更監視
実際の変更を日付・カウンター・広告のローテーションと区別する定期チェック。本当に変化があったときに webhook で知らせます。
agent · リサーチ実行
POST /v2/agent 自分のモデルを使って Web から質問に答え、回答の各フィールドを取得元のページと照合します。
文書と OCR
PDF、Office、電子書籍、メール、圧縮ファイル、データベースのための自前 Rust リーダー。破損ファイルや CJK フォントにも対応。スキャンページは PP-OCRv6、ディスプレイ数式は PP-FormulaNet で、CPU または NVIDIA GPU 上で処理します。
構造化抽出
サイトが変わると再配置される CSS セレクタによる JSON、または自分のモデルが一度だけ書いて PageSift がキャッシュするスキーマによる JSON。ページが必要とする場合は、クリック・入力・スクロール・保持されるセッションといったブラウザ操作も使えます。
安全性と正直な結果
プライベートネットワークと DNS リバインディングへの防御。不完全なページ、切り詰められたファイル、スキップされたスキャンは、完全に見える代わりに警告コードを返します。
ほぼ何でも入ります
一回の呼び出しで全部を処理——別々のコンバーターをつなぐ必要はありません。
Web ページ
URL と HTML、コンテンツが増える場合にだけレンダリング
スキャンページも OCR で対応
Office
Word、Excel、PowerPoint（現行・旧版）と OpenDocument、RTF、HWP
電子書籍
EPUB, MOBI, FB2
メール
.eml、.mbox、.msg——添付ファイルも再帰処理
圧縮ファイル
zip、tar、gz、bz2、xz、7z、そして WARC の入出力
データファイル
CSV、SQLite、dBASE、Markdown とテキスト形式
ソースコード
373 種類のソースコード・設定言語を、関数とクラスで分割
どこでもそのまま差し替え可能
Firecrawl や Jina Reader のコードはもうありますか？API の URL を変えるだけで使い続けられます。エージェントを作るなら、MCP サーバーが同じ操作を話します。
HTTP APIs
Firecrawl v1/v2 と Jina Reader（/r/ と /s/）のエンドポイントが同じセルフホストバイナリ上にあります。ローカル文書向けのファイルアップロード API もあります。
# Firecrawl API curl localhost:3002/v2/scrape \ -H 'Authorization: Bearer sk-test' \ -d '{"url":"https://example.com","formats":["markdown"]}' # Jina Reader curl localhost:3002/r/https://example.com
MCP サーバー — stdio / HTTP
エージェント向けの十のツール：日常の八つの操作に、モデルを設定するとエージェント用ペアが加わります。接続は一つのコマンド：
claude mcp add pagesift -- pagesift mcp
パッケージとバインディング
主要三言語のネイティブパッケージ、Rust crate、そしてエンジンを十数言語に広げる C ABI。LangChain と LlamaIndex の連携も含まれます。
プラットフォームとランタイム
Linux x86_64 / aarch64（glibc ≥ 2.28 と musl）、macOS arm64、Windows x86_64、Docker イメージ。HTTP、PDF、Office にインストールは不要です。JavaScript ページ用のブラウザ、OCR 用の NVIDIA GPU、そして /v2/agent に使う自分のモデルは、実行時に見つかります。
エージェントに見つけられ、駆動されるために
あなたが AI エージェント、またはツールのインデクサーなら：このページは /llms.txt と /llms-full.txtに機械可読な要約を用意しています。そして製品自体が、あなたのエージェントが今日から呼べる MCP サーバーです。
MCP サーバー — 起動して、接続して、ツールを呼ぶ
stdio で一つのエージェント向けに動かすか、このマシン上のすべてのエージェントが接続する共有のローカルサービスとして動かします：
pagesift mcp # stdio、一つのエージェント向け pagesift mcp http --port 3003 # 共有のローカルサービス # Claude Code から接続 claude mcp add pagesift -- pagesift mcp claude mcp add --scope user --transport http \ pagesift http://127.0.0.1:3003/mcp
pagesift_scrape一つの URL またはファイル → クリーンな Markdown または構造化 JSONpagesift_crawlサイト全体をジョブとしてクロールpagesift_map取得前にサイトの URL を発見pagesift_batch_scrape複数の URL を一つの永続ジョブにpagesift_poll_jobクロールやバッチのジョブをポーリングして状態と結果を取得pagesift_cancel_job実行中のジョブをキャンセルpagesift_interact保持中のブラウザセッションを操作 — クリック、入力、スクロールpagesift_interact_stopブラウザセッションを終了
モデルを設定すると、さらに二つが現れます： pagesift_agent と pagesift_agent_status ——Web から質問に答え、各フィールドを出典ページと照合するリサーチ実行です。
そのまま差し替えられる HTTP 互換性
既存の Firecrawl v1/v2 コードは API の URL を変えるだけで動きます。Jina Reader のパス /r/ と /s/ も同じバイナリが提供します。ページ単位の料金はなく、データがあなたのマシンの外に出ることもありません。
curl localhost:3002/v2/scrape \
-H 'Authorization: Bearer sk-test' \
-d '{"url":"https://example.com","formats":["markdown"]}'
curl localhost:3002/r/https://example.com
機械可読ドキュメント
- /llms.txt — LLM 向けプロジェクト要約
- /llms-full.txt — インストール、API、ツール、ベンチマークを一つのファイルに
- /sitemap.xml · /robots.txt — AI を含むすべてのクローラー歓迎
- README · アーキテクチャ · ベンチマーク
- Glama MCP listing — ツール定義とスコア
ホスト型 API — 準備中
ホスト型の PageSift API は準備中で、 api.pagesift.tech エンドポイントはそのために予約されていますが、まだ公開されていません。現在 PageSift はセルフホストです：上記の Firecrawl と Jina Reader の API は自分のマシンで動作します。詳しくは下の インストール方法 をご覧ください。
作者のノートから
dev.to、Zenn、Qiita のリリース記事と技術的な深掘り——リリースノートに収まらない設計の考え方。
PageSift 1.2: ITNA, an access-barrier recovery engine — plus the 1.1 roundup
1.2 のリリース記事：itna のバリア回復と、単独記事にならなかった 1.1 のまとめ。
壁にぶつかったら、まず分類する —— PageSift 1.2 のアクセス障壁リカバリ「itna」の設計
ブラウザの試行を使う前に、itna がバリアをどう分類するか——1.2 の背後にある設計。
PageSift 1.0: the Rust web content engine is feature-complete
1.0 のリリース記事：機能完成——OCR、セレクタメモリ、監視、エージェント API。
一分で起動
使う面を選んでください——どれも同じエンジンで動きます。
| 項目 | インストール | 最初の呼び出し |
|---|---|---|
| CLI | cargo install pagesift --locked | pagesift scrape https://example.com |
| Python | pip install pagesift | pagesift.scrape("https://example.com").markdown |
| Node.js | npm install @pagesift/node | (await new Scraper().scrape("https://example.com")).markdown |
| サーバー | docker run -p 3002:3002 ghcr.io/yolow92/pagesift:1.2.2 | curl localhost:3002/r/https://example.com |
| MCP | — | claude mcp add pagesift -- pagesift mcp |
アクセスバリア回復（任意）
- 既定では無効です。 有効化は
[itna] enabledで——求めない限り、何も変わりません。 - 分類してから、上限を設ける。 バリアはまず分類されます。ブロックまたはチャレンジされたページには上限付きのブラウザフォールバックが最大一回までで、リダイレクトとサブリクエストで一つのネットワーク予算を共有します。
- 誤ったケースは決してエスカレーションしません。 レート制限（429）とログインウォールは、ブラウザ経路の引き金にはなりません。
- 分離されたセッション。 セッションは owner、origin、出口、フィンガープリントごとにリースされます。HTTP Cookie は完全一致の origin に対する引き渡しでのみブラウザに渡ります。
- 人間が常に関与します。 対話型 CAPTCHA は人間による対応が必要として報告され、解決は行いません。
1.2.2 の新機能
- crawl、batch、extract のジョブは 作成したアカウントのみが利用できます。
- search と extract のページ取得は 日次クォータに計上されます。
- キャッシュ済みページは再利用前に robots.txt と照合されます 。
- 未対応のスナップショットと base64 画像のオプションは 静かに無視されず、エラーになります。
向いている場合 — と、別のものを選ぶべき場合
ページや文書を LLM、RAG インデックス、エージェントに渡すこと。ページ単位の料金なしで Firecrawl スタイルのサービスをセルフホストすること。小さなマシンでの混在入力。独立した画像ファイル、マネージドなクラウドサービス、あるいは AGPL が使えず商用ライセンスも選べない場合は、別のものを選んでください。
オープンソース、商用ライセンスも可
AGPL のもとで無料でセルフホストできます——プロプライエタリなデプロイ向けに、商用ルートと、直接書ける相手もいます。
AGPL-3.0 — 無料
GNU AGPL v3 のもとで PageSift を使用・改変・セルフホストできます。ソース一式は GitHub にあり、セルフホストにページ単位の料金はかかりません。