AIリーダーボード
AIベンチマークとモデル評価。
OpenRouter AI Rankings:主要LLMの性能・スループット比較ランキング
無料プラン LLMのパフォーマンスランキングおよび評価データへの完全な公開アクセス(無料)。
OpenRouter AI Rankingsで最新LLMの性能とコストを比較。トークン生成速度、価格、レイテンシの最新ベンチマークを無料で閲覧できます。
OpenRouter AI Rankingsの概要
OpenRouter AI Rankingsは、OpenRouterが提供する主要な大規模言語モデル(LLM)のパフォーマンス、スループット(トークン/秒)、価格対性能比を網羅した公開リーダーボードです。各AIモデルの実用的な性能をデータに基づいて客観的に比較できます。
無料プランの詳細
- 完全無料の公開アクセス:登録不要で全モデルの最新ベンチマーク指標を閲覧可能。
- スループット&レイテンシ評価:各モデルの生成速度(Tokens/s)と初期応答時間を比較。
- 価格&トークンコスト分析:入力・出力トークンあたりの費用効率を一覧化。
- モデル別トレンド把握:オープンソースおよび商用プロプライエタリモデルの最新動向を追跡。
AlpacaEval:GPT-4比較によるLLM指示追従性能リーダーボード
無料プラン GPT-4を基準とした指示追従型LLMの評価結果および比較データへの完全公開アクセス。
AlpacaEvalでAIモデルの指示追従(Instruction-Following)能力を比較。GPT-4をジャッジとした客観的な勝率ランキングを無料で確認できます。
AlpacaEvalの概要
AlpacaEvalは、スタンフォード大学などの研究者によって開発された、指示追従型LLMの出力品質を自動評価・順位付けする高速かつ信頼性の高いベンチマークプラットフォームです。GPT-4を評価ジャッジとして活用し、人間の好みに高い相関を持つスコアを算出します。
無料プランの詳細
- 無料の公開リーダーボード:全モデルの勝率(Win Rate)や評価スコアを自由に確認。
- GPT-4基準の厳密な比較:標準プロンプト群に対するモデルの応答品質をGPT-4が判定。
- 高速&低コストな自動評価:人間のアノテーターを介さずに再現性の高い評価を実現。
- オープンソース評価コード提供:自作モデルの性能をGitHub公開コードでセルフベンチマーク可能。
Hugging Face Open LLM Leaderboard:オープンソースAIモデル性能評価
無料プラン 4,000以上のオープンソースLLMを対象とした横断的ベンチマーク評価およびランキングへの完全無料アクセス。
Hugging FaceのOpen LLM Leaderboardで4,000以上のオープンソースAIモデルを比較。MMLUやGSM8kなどの主要指標スコアを無料で確認できます。
Hugging Face Open LLM Leaderboardの概要
Hugging Face Open LLM Leaderboardは、オープンソースの大規模言語モデル(LLM)の性能を標準化されたテスト基準で評価・順位付けする、AI界で最も権威のある公開リーダーボードです。コミュニティが提出した数千ものモデルを公平に比較できます。
無料プランの詳細
- 4,000以上のモデル評価:公開リポジトリのモデル性能を網羅した膨大なデータベース。
- 標準ベンチマーク指標:MMLU、GSM8k、MATH、IFEvalなどの標準テストで総合スコアを算出。
- コミュニティ提出対応:自分の微調整(Fine-tune)モデルを提出して公式ランキングに参加可能。
- オープンデータ&完全透明性:評価プロンプトや詳細メトリクスが完全公開。
Chatbot Arena(LMSYS):ブラインド対戦EloレーティングによるAI比較
無料プラン 一般ユーザーによるブラインド投票に基づいたAIチャットモデルのクラウドソースEloランキング。
LMSYS Chatbot ArenaでAIモデルの実力を比較。実ユーザーによる覆面対戦投票に基づいた最も信頼性の高いEloレーティングを無料で閲覧できます。
Chatbot Arenaの概要
Chatbot Arena(LMSYS)は、ユーザーが入力したプロンプトに対し、モデル名を伏せた2つのLLMが生成した回答をブラインド比較して投票する、ゲームのEloレーティング方式を採用したAI評価プラットフォームです。ベンチマークテストの過学習(カンニング)を防ぐ人間評価のスタンダードです。
無料プランの詳細
- クラウドソースEloランキング:数十万件の人間による直接投票に基づく高精度なレーティング。
- ベンチマーク過学習の防止:未公開プロンプトによるブラインドテストで実際の使い勝手を反映。
- コーディング・多言語別ランキング:プログラミング能力や多言語会話に特化した個別スコアも公開。
- 無料バトル参加:誰でもWeb上で2つのAIと対話して投票に参加可能。
MTEB Leaderboard:多言語テキスト埋め込み(Embedding)ベンチマーク
無料プラン 100以上の言語、1,000以上のNLPタスクを網羅したテキスト埋め込みモデルの包括的ベンチマーク。
MTEB Leaderboardで最適なテキスト埋め込みモデルを選定。分類、検索、クラスタリングなど多様なタスクと100言語以上の評価を無料で比較できます。
MTEB Leaderboardの概要
MTEB(Massive Text Embedding Benchmark)Leaderboardは、ベクトル検索やRAG(検索拡張生成)、セマンティック検索で使用されるテキスト埋め込み(Embedding)モデルの総合評価プラットフォームです。単一の指標ではなく、多様な自然言語処理タスクでモデルを多角的に評価します。
無料プランの詳細
- 100言語以上をカバー:日本語を含む多言語モデルと英語特化モデルを網羅。
- 多種多様なNLPタスク評価:情報検索(Retrieval)、分類、クラスタリング、類似度判定など。
- RAGシステム選定に最適:ベクトルDBと組み合わせる最適な埋め込みモデルの選定を支援。
- オープンデータ&随時更新:新しいモデルの登場に合わせてランキングが継続的にアップデート。
Artificial Analysis:AIモデルの速度・品質・価格に関する独立系ベンチマーク
無料プラン 独立した第三者評価に基づく主要AIモデルの知能、生成速度、レイテンシ、コストの比較データ。
ArtificialAnalysis.aiでAIモデルの真のコストと性能を分析。独立したテストに基づく生成速度、初回トークン時間、品質スコアを無料で確認できます。
Artificial Analysisの概要
Artificial Analysisは、商用LLMやホスティングAPIプロバイダーの品質、生成速度(Tokens/s)、レイテンシ(TTFT)、価格を中立的な立場で測定・公開している独立系AI分析プラットフォームです。企業が本番環境で採用すべき最適なAIプロバイダーの選定を支援します。
無料プランの詳細
- 客観的な独立ベンチマーク:ベンダーの宣伝文句に惑わされない実測データを提供。
- 生成速度&TTFT測定:実際のAPI呼び出しにおけるトークン出力レートと応答待ち時間を比較。
- コスト効率の可視化:100万トークンあたりのコストと品質のトレードオフを散布図で分析。
- ホスティングプロバイダー比較:同じモデル(Llamaなど)を提供する複数クラウドの性能差を検証。
yupp.ai:ユーザー評価とフィードバックに基づくAIモデル比較リーダーボード
無料プラン ユーザーからのフィードバックと評価データに基づくAIモデルランキングへの無料アクセス。
yupp.ai AI Leaderboardでユーザー体験に基づいたモデル評価をチェック。実利用者のフィードバックをもとに最適なAIソリューションを発見できます。
yupp.ai AI Leaderboardの概要
yupp.aiは、実際のユーザーコミュニティからのフィードバックや満足度評価を統合し、各種AIモデルの実用性を可視化するリーダーボードプラットフォームです。理論上のスコアだけでなく、実務における使いやすさや好みを反映したランキングを提供します。
無料プランの詳細
- ユーザー主導のモデル評価:実際のユースケースに基づいたリアルな評価データを集約。
- モデル比較&トレンド追跡:新旧モデルの満足度推移やトレンドの変化を可視化。
- 公開アクセス無料:誰でも最新のランキングとユーザー評価を自由に閲覧可能。
- 意思決定のサポート:用途に合わせた最適なAIモデルの選定基準を提供。
LMArena:世界標準のクラウドソースLLMベンチマーク&投票アリーナ
無料プラン クラウドソース投票によるLLMランキングおよび各種ベンチマークへの完全無料アクセス。
LMArenaで最新の大規模言語モデルの強さをリアルタイム評価。数多くの実対話投票に基づいた世界標準のAI性能ランキングを無料で確認できます。
LMArenaの概要
LMArenaは、LMSYSが運営する最先端のAI評価エコシステムです。人間によるブラインド対話テスト(Chatbot Arena)や各種ベンチマーク指標を統合し、グローバルなAI研究機関や開発者が注目するモデル性能のゴールドスタンダードとなっています。
無料プランの詳細
- 世界標準の対戦型レーティング:公平なブラインド投票による最高精度のモデル実力ランキング。
- カテゴリ別スコアボード:コーディング、ハードプロンプト、多言語、スタイル制御などの細分化データ。
- 無料のモデル対話機能:最新の商用・オープンソースモデルを並べてリアルタイムに比較テスト。
- 完全オープンな評価データ:研究目的でも活用可能な透明性の高いデータセット。