Haru: セルフホスト推論を止めない。アイドル GPU なしで。
Haru は、自前の GPU で LLM を提供するチームのための無料・オープンソースの GPU オーケストレーターです。解決するのはスタンバイ問題。リージョン障害に備えて可用性を保とうとすると、通常は遊んだままの 2 組目の GPU に費用を払うことになります。Haru なら、その GPU は待機しながら学習します。
Alpha · GitHub で無料・オープンソース公開
Haru がすること。
ホットフェイルオーバー
Haru は GPU を Active/Standby のペアとして、リージョンやクラウドの異なる 2 つの障害ドメインで運用します。アクティブ側が落ちると、スタンバイ側が数秒でサービングを引き継ぎます。
アイドル GPU ゼロ
従来のホットスタンバイでは、何もしない GPU に課金され続けます。Haru のスタンバイは、重みを CPU RAM に退避して推論サーバーをスリープさせ、空いた VRAM で出番が来るまで LoRA 学習を実行します。
スクリプトではなく、検証で
フェイルオーバーは、検証付きの状態遷移の連続です。学習を止め、VRAM の解放を確認し、サーバーを起こし、すべてのモデルをプローブしてから、ルーティングをアトミックな 1 ステップで切り替えます。失敗したステップがトラフィックを動かすことはありません。
Haru Cloud: フルマネージドのフリート。
近日公開同じオープンソースの Haru を、Arkor が運用します。プロビジョニング、監視、フェイルオーバーを 24 時間体制で見守り、コントロールプレーンを自分で運用する必要はありません。