SkillogyQiitaを読む
開発事例一覧に戻る

物件データ基盤の開発でデータ処理コストを80%削減、抽出できる物件数を2倍に

データを集めて活用する仕組みは、作った直後よりも、運用が続くほど費用が効いてきます。収集する量が増えるほどクラウドの処理費用も増え、事業の利益を圧迫する構造になりやすいためです。

株式会社スキロジーでは、不動産販売業者様向けの物件データ収集基盤について、開発・改善およびインフラ運用を実施しました。技術選定、アーキテクチャ設計、フロントエンド・バックエンド開発、インフラ構築、運用保守まで一貫して対応しています。

結果として、データ処理コストを80%削減しながら、抽出できる物件数を100%増加(2倍)させました。この記事では、その進め方をご紹介します。

ご依頼内容 新規事業の立ち上げに伴う物件データ収集基盤の開発・改善および運用
期間 約1年
対応範囲 技術選定、アーキテクチャ設計、フロントエンド・バックエンド開発、インフラ構築、運用保守
成果 データ処理コスト80%削減、抽出できる物件数100%増加(2倍)

ご相談時の状況と課題

クラウドの処理コストを確認する

新規事業の立ち上げに伴い、物件情報を対象としたデータ収集基盤が必要になったというご相談でした。収集した物件データから、仕入の候補になるものを見つけ出すことが事業の目的です。

課題は収集対象の大きさにありました。対象が大きいほど有望な物件に出会える可能性は上がりますが、そのまま素直に処理すると、クラウドの処理費用が事業を圧迫する構造になります。データ基盤の費用は、集めた量ではなく、集めたデータをどう保持し、どう問い合わせるかで大きく変わります。

費用が膨らむ原因 起きること
データの持ち方が処理に合っていない 1回の集計で無関係なデータまで読み込む
すべてのデータを同じ重さで処理する 判定が不要なデータにも高い処理コストがかかる
処理の順番が整理されていない 絞り込む前に重い処理を通してしまう

ここで単純にコストを下げるだけであれば、収集する量を減らせば済みます。ただし、それでは見つけられる物件も減り、事業そのものが縮んでしまいます。安く動かすことと、事業として使えるデータを増やすことを同時に満たす必要がありました。

ご提案と実施内容

データ収集基盤を支えるサーバー環境

取り組みは大きく2つに分かれます。1つはデータの持ち方とクエリの設計を見直して処理コストを下げること、もう1つは収集ロジックと判定処理を改善して、仕入候補として使えるデータを増やすことです。実施した内容は次のとおりです。

  • データ収集基盤の設計・開発
  • クラウド環境におけるデータパイプラインの構築およびデータ蓄積
  • クエリチューニングとデータ処理コストの最適化
  • 機械学習モデルによる事前判定を組み合わせた、処理対象を絞り込むパイプラインの設計・実装
  • 収集状況やデータを管理するフロントエンド機能の開発
  • 要件に応じたインフラ構成の検討、技術選定および提案
  • インフラおよび各種処理の監視、障害対応、運用保守

コスト削減の中心になったのは、データの持ち方とクエリの見直しです。処理のたびに読み込む範囲が最小になるようにデータを整理し、集計の方法をあわせて設計し直しました。

抽出できる物件数を増やす側では、処理の順番を変えています。すべてのデータを重い処理にかけるのではなく、機械学習モデルによる事前判定で対象を絞り込み、絞り込んだ先に重い処理を回す構成にしました。1件あたりの処理を軽くすることで、同じ費用でもより多くのデータを処理できるようになります。

また、収集状況やデータを確認できるフロントエンド機能も開発しました。基盤の内部で何が起きているかを事業側が把握できないと、改善の判断ができないためです。運用開始後は、インフラと各種処理の監視、障害対応、運用保守まで継続して対応しています。

成果

データ処理コストの削減

設計の見直しと収集基盤の改善により、次の成果が得られました。

  • クエリおよびデータ処理方法の見直しにより、データ処理コストを80%削減
  • 収集基盤の改善により、抽出できる物件数を100%増加(2倍)

コストを下げながら、事業が使えるデータの量は増えています。データ基盤の費用は運用が続く限り発生し続けるため、この改善は毎月の固定費の削減として効き続けます。

担当者の視点

収集したデータを分析する

データ基盤は作った直後より、運用が続くほど費用が効いてきます。この案件では「安く動かす」ことと「事業として使えるデータを増やす」ことを同時に追いました。コスト削減だけなら収集量を減らせば済みますが、それでは事業が縮むので、処理の順番と絞り込み方を設計し直しています。

クラウドの費用が高いという相談を受けたとき、契約プランや単価の見直しに目が向きがちです。実際には、データの持ち方と処理の順番のほうが金額への影響は大きくなります。どのデータに重い処理をかけるべきかを決めることが、そのままコスト設計になります。

同じような課題をお持ちの方へ

データ基盤についての相談

次のような状況であれば、現状の構成を確認するところからご相談いただけます。

  • データを集める仕組みは動いているが、クラウド費用が想定より高い
  • 費用を抑えるために処理量を減らしており、事業側の要望に応えられていない
  • 収集したデータから、必要なものを選び出す処理を自動化したい
  • 基盤の開発だけでなく、その後の監視や障害対応まで任せたい

スキロジーは、業務システム・Webアプリ・AI機能の企画開発を行う福岡のシステム開発会社です。データ基盤の設計から運用保守までご相談いただけますので、お問い合わせフォームよりお気軽にご連絡ください。