コンテンツにスキップ

動作を確認する

2 つのコマンドで健全なセットアップを確認できます。一方はデーモンとメッシュのライブな 状態を表示し、もう一方は実際の推論リクエストを実行します。

Terminal window
waired status --observability

健全な推論サーバーは次のように表示されます。

Observability:
Device: dev-ubuntu uptime: 1m23s
Engine: ready (model=qwen2.5-coder-7b-instruct, 0/4 slots used, inflight=0)
Share: enabled Paused: no
Mesh: 2 enrolled / 1 reachable / 1 ready
Last: - (no inference requests yet)

確認すべきポイント:

  • Engine: ready — モデルがロードされ、リクエストに応えられる状態です。 not ready と表示される場合は、モデルがまだプル中(数分待つ)か、ランタイムが 停止している(waired runtimes status)可能性があります。
  • Share / PausedShare: enabled はピアがこのエンジンに到達できることを 意味し、Paused: no はルーティングが有効であることを意味します。
  • Meshenrolled / reachable / ready のピア数です。クライアントでは、これが 自分のサーバーが reachable として現れることを確認する方法です。

機械可読な出力を得るには -o json を追加します。

Terminal window
waired infer "say hi"

これはローカルエンジンを直接呼び出すため、メッシュの到達性に関わらず動作します — 推論が動くことを確認する最も早い方法です。あいさつが数百ミリ秒から数秒以内に 返ってくるはずです。

ルーティングの判断(ローカルかピアか、モデルの解決、推定レイテンシ)を答えと一緒に 確認するには、次のようにします。

Terminal window
waired infer --explain "say hi"