AI දෘඩාංග වෙබ් වෙළඳසැල
මිනි පරිගණක, NAS, වැඩස්ථාන, සේවාදායක සහ දාර AI දෘඩාංග පිරික්සන්න — සෑම පද්ධතියක්ම ⏻ On Intelligence විසින් සපයනු ලබන ස්ථාපන සේවාව සහ මෘදුකාංග නවෝත්පාදන සමඟ යුගල කළ හැකිය.
| ඡායාරූපය | නිෂ්පාදනය | මිල | සමර්ථය |
|---|
මාදිලි සමර්ථය තේරුම් ගැනීම
මාදිලි සමර්ථය යනු AI ආකෘතියක අඩංගු පරාමිතීන්ගේ සංඛ්යාවයි (උදා: 70B = බිලියන 70 පරාමිතීන්). විශාල ආකෘති සාමාන්යයෙන් වැඩි මතකයක් සහ පරිගණක බලයක් අවශ්ය කරයි, නමුත් වැඩි දියුණු කරන ලද තර්ක හා ප්රතිදාන ගුණාත්මකභාවය ලබා දිය හැකිය.
නිරවද්යතාව (FP16 / FP8 / FP4) යම් මාදිලි සමර්ථයකට අවශ්ය මතක ප්රමාණයට බලපායි: අඩු-නිරවද්යතා ආකෘති පියවරකට පමණක් මතක අවශ්යතා අඩකින් අඩු කරයි (FP16 → FP8 → FP4), ප්රතිදාන නිරවද්යතාවයේ යම් වියදමක් දක්වා.
| මාදිලි ප්රමාණය | සාමාන්ය මතකය (FP16) | සාමාන්ය මතකය (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |